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内 容 提要 
本 书 从 多 个 角度 讨论 了 测试 人 员 的 实际 工作 ， 包 括 缺 陷 报告 、 测 试 文档 、 测 试 建 模 、 测 试 设计 、 测 试 
自动 化 、 研 究 产 品 、 研 究 项 目 环境 、 测 试管 理 、 个 人 管理 、 实 践 案例 等 。 书 中 魏 新 的 观念 与 技术 将 有 助 于 
读者 更 好 地 提交 缺陷 报告 ， 在 项 目 未 期 的 缺陷 压力 下 更 好 地 做 回归 测试 。 
本 书 适 用 于 测试 新 手 以 及 初级 测试 人 员 。 
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2014 年 年 初 , 正 值 学 期 结束 之 际 ， 工 作 比较 忙 ， 就 利用 这 次 从 银川 飞 往 上 海 的 途中 ,完成 了 
一 项 非常 有 意义 却 很 有 挑战 的 任务 : 为 微软 总 部 资深 测试 工程 师 史 亮 博士 所 著 的 4 软件 测试 实战 》 
写 序 。 飞 机 上 没有 网 络 、 电 话 ， 倒 是 一 个 很 封闭 、 不 受 干扰 的 session， 可 以 集中 注意 力 做 好 一 件 
事 ; 从 男 一 个 方面 看 ,也 说 明 自 己 对 写 此 序 非常 重视 , 希望 不 愧 对 朋友 所 托 ， 能够 较 好 地 完成 这 
一 “艰巨 ”的 任务 。 


差不多 两 年 前 , 我 也 曾 为 作者 和 高 翔 所 著 的 《探索 式 测试 实践 之 路 》 一 书写 过 序 , 但 这 本 新 
书 有 很 大 不 同 ,涉猎 之 广 几 乎 和 覆盖 了 测试 工作 各 个 方面 从 缺陷 报告 、 测 试 建 模 、 测 斌 需求 分 析 
与 设计 到 团队 建设 、 个 人 管理 等 。 从 单一 测试 方式 的 测试 实践 走向 全 面 的 软件 测试 实践 之 路 , 这 
期 间 需 要 更 多 的 积累 ， 需 要 更 高 、 更 广 的 视野 ， 由 此 体现 出 作者 全 面 的 测试 知识 、 独 到 的 思考 和 
丰富 的 经 验 。 本 书 不 仅 内 容 丰 富 ， 人 和 人 木 三 分 ， 而 且 对 读者 的 指导 体贴 人 微 , 循序 渐进 地 给 予 具体 
的 示范 性 操作 。 例如, 通过 一 周 的 测试 过 程 指导 测试 人 员 如 何 做 好 具体 的 测试 工作 。 本 书 侧重 测 
试 实践 ， 如 在 讨论 “面向 调试 的 测试 代码 ” “系统 测试 的 测试 开发 ”时 ,把 作者 自己 实践 过 的 经 
验 一 条 一 条 地 摆 出 来 展开 讨论 ,并 通过 列 出 测试 人 员 容 易 磁 到 的 问题 ， 逐 条 解答 ， 以 帮助 读者 解 
决 一 些 复杂 的 测试 难题 ， 如 根据 语 境 (上 下 文 ) 如 何 完善 组 合 测试 的 模型 、 启 发 式 测试 Oracle 应 
用 等 。 本 书 还 介绍 了 一 些 新 的 测试 概念 或 方法 ， 如 大 规模 自动 化 测试 ( HiVAT )， 系 统 生态 图 的 
应 用 ， 风 险 管理 中 的 长 回路 、 短 回路 等 。 除 此 之 外 , 我 们 还 能 从 本 书 学 习 到 大 量 测试 想法 、 清 晰 
的 测试 逻辑 思维 、 各 种 测试 方法 等 ， 极 大 地 增强 我 们 的 测试 技能 


JLE, 作者 在 美国 微软 公司 总 部 工作 ,本 书 分 享 的 思想 、 方 法 和 经 验 多 数 来 自 于 软件 业 最 
发 达 的 欧美 , 吸收 了 不 少 欧美 测试 大 师 的 卓越 思想 和 优秀 实践 ,引用 了 近 百 项 资料 文献 ， 所 有 文 
献 都 是 英文 的 ， 时 间 跨 度 也 很 长 ， 从 1972 年 到 2012 年 ， 长 达 40 多 年 。 可 以 这 样 说 ,本 书 为 我 们 省 
去 了 阅读 国外 文献 的 大 量 时 间 , 仅 从 这 一 点 来 看 ,这 本 书 也 极 具 价值 ， 更 何况 本 书 对 一 批 测试 大 
师 的 智慧 进行 了 提炼 ， 并 应 用 到 实际 的 案例 中 。 这 些 测 试 大 师 包 括 我 们 熟知 的 James Bach, 
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Jonathan Bach, Cem Kaner , Michael Bolton James Whittaker 、Elisabeth Hendrickson , Rikard Edgren, 
Harry Robinson， 等 等 。 因 此 ， 本 书籍 此 分 享 了 他 们 贡献 给 测试 知识 宝库 的 一 些 精华 内 容 ， 如 : 


口 产品 研究 的 7 大 元 素 SFDAPOT; 

口 启发 式 测试 计划 语 境 ( 上下文 ) 模型 HTPCM ; 

口 启发 式 测试 策略 模型 (HISM ); 

口 探索 式 测 试管 理 方法 SBTM ( Session-Based Test Management ); 
口 测试 技术 分 类 体系 ; 

O 敏捷 四 和 象限、 测试 自动 化 金字 塔 ; 

O 基于 缺陷 模型 的 快速 测试 方法 ; 

口 基于 部 署 图 的 测试 指导 词 ; 

口 测试 Oracle 指 导 词 FEW HICCUPPS. 


软件 测试 不 同 于 人 硬件 测试 , 不 仅 在 于 软件 的 复杂 性 、 软 件 需求 的 善 变性 ， 而 且 在 于 软件 的 社 
会 性 , 在 一 个 软件 中 融 人 了 更 多 的 社会 因素 ， 如 不 同 用 户 的 软件 应 用 体验 、 受 业务 环境 影响 的 业 
务 操作 、 受 人 们 心理 影响 的 业务 逻辑 变化 。 基 于 这 样 的 背景 , 基于 上 下 文 驱动 测试 (Context-driven 
test) 的 方法 体系 引起 人 们 足够 的 重视 ， 我 也 深 感 作者 受 这 个 体系 〈 以 James Bach, Cem Kaner, 
Michael Bolton 等 为 代表 的 流派 ) 的 影响 比较 大 ， 包 括 对 软件 测试 的 理解 ， 更 倾向 于 这 样 的 观点 : 
测试 是 一 种 服务 测试 人 员 通 过 服务 团队 来 体现 自己 的 价值 ; 测试 是 一 种 技术 调查 , 其 目的 是 向 干 
系 人 提供 有 关 产 品质 量 的 实验 消息 。 本 书 依旧 继承 了 《探索 式 测试 实践 之 路 》 的 测试 思想 ， 在 测 
试 技术 这 一 章 , 并 没有 讨论 功能 测试 和 性 能 测试 的 传统 方法 和 技术 ,而 更 多 是 从 “上 下 文 驱 动 学 
派 ” 的 启发 式 测试 策略 、 快 速 测试 、 探 索 式 测试 等 方式 方法 出 发 ,， 来 介绍 测试 技术 ,包括 情景 测 
试 、 漫 游 测试 、 肥 皂 剧 测试 等 技术 ， 使 测试 更 有 趣 ， 更 能 适应 软件 测试 的 社会 性 。 


本 书 从 缺陷 报告 开始 讨论 , 虽然 编排 不 同 于 一 般 的 测试 书籍 , 但 也 合乎 逻辑 , 缺陷 发 现 和 报 
告 是 一 个 测试 人 的 基本 能 力 。 基 于 时 间 和 方法 技术 的 限制 , 一 般 应 用 系统 的 测试 还 无 法 做 到 百 分 
之 百 的 测试 , 所 以 迫使 人 们 常常 从 反 向 思维 角度 思考 测试 ， 就 是 尽 可 能 发 现 缺陷 , 缺陷 发 现 越 多 
且 能 被 修复 , 产品 质量 就 越 高 。 从 这 一 思维 方式 出 发 ,发 现 缺 陷 是 软件 测试 的 基本 目标 之 一 , 或 
者 说 , 发 现 缺 陷 的 测试 是 成 功 的 测试 。 作 者 在 书 中 分 享 了 自己 的 真知 灼 见 ， 如 高 质量 的 缺陷 报告 
来 自 于 高 质量 的 测试 。 


当 敏 捷 开 发 席卷 世界 时 ， 人们 对 文档 重视 程度 越 来 越 低 的 时 候 , 本 书 把 测试 文档 放 在 很 重要 
的 地 位 ,体现 了 作者 的 独立 思考 和 务实 的 态度 ,不 随波逐流 ， 从 测试 自身 要 求 出 发 ,强调 “测试 
文档 是 持续 演化 的 工具 ”"， 把 探索 式 测试 的 思想 “测试 设计 、 执 行 、 评 佑 (分析 )、 学 习 ” 应 用 到 
文档 的 改进 和 维护 中 ， 并 通过 从 测试 计划 、 设 计 规 约 、 检 查 列表 到 各 种 形形色色 文档 的 介绍 ,也 
让 读者 更 全 面 、 更 深刻 地 理解 软件 测试 。 其 次 , 已 有 测试 书籍 对 测试 建 模 及 其 应 用 介绍 都 比较 少 ， 
但 本 书 不 仅 在 第 4 章 用 一 章 的 篇 幅 来 介绍 各 种 测试 建 模 方法 及 其 应 用 ， 而 且 在 第 3 章 、 第 7 章 等 都 
有 所 涉及 , 揭 开 了 测试 建 模 的 神秘 面纱 , 让 测试 人 员 不 再 拒 测试 建 模 于 千里 之 外 , 促进 测试 人 员 
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在 日 常 测试 工作 中 能 够 习惯 地 运用 测试 建 模 来 解决 复杂 系统 的 测试 问题 ， 不 断 地 改进 测试 。 


自动 化 测试 永远 是 软件 测试 的 核心 主题 之 一 ， 本 书 也 不 例外 ， 谈 到 自动 化 测试 策略 和 实践 ， 
如 用 了 较 多 篇 幅 讨 论 面向 调试 的 测试 代码 、 系 统 级 别 ( 包括 系统 GUI 测试 ) 的 自动 化 测试 开发 。 
但 是 ， 作 者 用 了 更 大 篇 幅 来 研究 “产品 ”和 “项 目 "， 因 为 这 些 的 确 是 测试 的 基础 ， 产 品 是 测试 
的 对 象 ， 不 能 真正 理解 产品 、 不 熟悉 产品 功能 特性 和 技术 实现 ， 测 试 是 不 可 能 做 好 的 ;而 每 个 
要 执行 的 测试 任务 都 是 为 了 达到 测试 目标 ， 而 测试 目标 及 其 实现 都 直接 和 其 项 目的 环境 因素 相 
3K. 

我 在 阅读 本 书 时 ， 不仅 产 生 了 上 述 这 么 多 的 共鸣 ,而 且 还 有 更 多 的 收获 和 体会 。 例 如 ， 在 阅 
读 8.2 节 内 容 时 ， 就 勾 起 了 我 在 webex 工 作 的 某 些 回忆 。 当 初 我 们 使 用 自己 开发 的 项 目 和 缺陷 管理 
系统 QAForum， 这 个 系统 有 一 个 很 大 的 优点 ， 就 是 用 户 可 以 写 SQL 语句 ,构造 自己 想 要 的 任何 形 
式 的 、 灵 活 抽取 不 同 数据 的 缺陷 报告。 


最 后 , 希望 读者 在 阅读 本 书 时 能 有 更 多 的 思考 ,并 根据 本 书 的 指引 ,阅读 相关 的 资料 ， 进 一 
APES. SBR. FES. FRSC, RE SC aR HEV 


朱 少 民 
同济 大 学 软件 学 院 教授 
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EAREN SLE AIA BEF. ELR, SASS A, MERAT 
来 的 各 种 案例 中 就 能 够 清楚 地 看 到 这 一 点 : 从 离开 某 项 目 后 其 他 人 接手 的 困难 中 , 史 亮 思考 和 总 
结 出 了 测试 工程 师 工 作 的 依赖 性 ; 从 代码 覆盖 的 案例 中 引申 出 覆盖 率 的 作用 和 陷阱 …… 能 够 在 国 
内 的 测试 领域 看 到 这 样 一 本 真正 以 个 人 思考 为 主 的 原创 性 图 书 , 实 属 不 易 。 我 相信 史 亮 非常 好 地 
贯彻 了 他 在 书 中 “ 且 行 且 思 ”这 一 节 中 提 到 的 理念 : 一 方面 ， 它 暗示 软件 人 员 的 职业 生涯 是 “ 漫 
漫长 路 ”"， 需 要 坚持 不 懈 地 跋涉 ; 另 一 方面 ， 它 指出 持续 的 努力 应 该 伴随 持续 的 思考 ， 执 行 与 反 
思 缺 一 不 可 。 


我 从 1998 年 偶然 进入 软件 测试 领域 , 在 其 中 投入 了 十 多 年 的 精力 , 对 软件 测试 的 不 少 方向 都 
有 所 涉及 ,期 间 经 历 过 多 种 类 型 的 项 目 ， 和 不 同 的 人 员 合 作 过 ,尝试 过 各 种 测试 技术 和 方法 。 虽 
然 从 2011 年 起 软件 测试 不 再 是 我 的 主要 方向 , 但 我 有 幸 经 历 了 中 国 的 软件 测试 行业 迅速 发 展 的 十 
年 ， 对 于 软件 测试 本 身 有 着 自己 的 一 些 理解 和 思考 。 


当然 ， 即 使 在 这 个 行业 投入 了 十 多 年 的 时 间 ,我 仍然 无 法 为 “该 怎么 做 软件 测试 ”这 个 问题 
给 出 简单 明确 的 回答 。 从 2011 年 开始 ,我 的 主要 角色 变 成 了 互联 网 组 织 的 整个 研发 团队 的 管理 者 ， 
这 个 位 置 使 得 我 可 以 不 再 站 在 一 个 纯粹 测试 者 的 角度 看 竺 问题 。 站 在 组 织 的 角度 看 竺 测试 , 最 关 
心 的 问题 不 再 是 “该 怎么 做 软件 测试 ” ， 而 是 “软件 测试 该 如 何 促进 组 织 ”。 以 促进 组 织 (生产率 
等 ) 为 目标 的 测试 ， 自 然 不 仅仅 需要 测试 工程 师 的 工作 , 还 需要 开发 工程 师 、 产 品 经 理 等 各 种 角 
色 共 同 参与 进来 。 有 代表 性 的 互联 网 企业 ( 如 Google、Facebook ) 不 约 而 同 地 采用 了 小 规模 的 测 
试 团队 (甚至 不 设置 单独 的 测试 团队 ), 越 来 越 多 的 开发 工程 师 开 始 关 注 测 试 和 强调 测试 技能 ( 包 
括 对 可 测试 性 的 关注 )。 在 这 样 的 趋势 之 下 ， 现 有 测试 行业 的 主要 从 业 测试 工程 师 自 然 会 
面临 压力 和 机 遇 。 压 力 不 言 而 喻 : 来 自 组 织 和 开发 者 的 更 高 期 待 使 得 测试 工程 师 不 得 不 具有 更 全 
面 的 视野 、 更 扎实 的 技术 能 力 ， 以 及 更 有 价值 的 产 出 ; 而 机 遇 ， 则 是 测试 工程 师 可 以 有 机 会 摆脱 
一 直 以 来 圈 住 自己 的 “发 现 缺陷 ”的 定位 ， 真 真正 正 地 为 组 织 创造 更 大 的 价值 。 
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然而 ,“ 创 造 真正 的 价值 ”需要 测试 工程 师 系 统 的 能 力 ， 仅 靠 亦 步 亦 趋 地 跟随 某 个 流程 无 法 
达成 ; 幻想 通过 盖世 神 兵 ( 某 个 工具 ) 或 是 幻想 掉 下 山崖 拿 到 神秘 的 内 功 心 法 也 无 法 达成 。 有 人 
说 测试 工程 师 是 个 “ 越 老 越 吃香 ”的 行业 ， 我 却 要 说 ， 这 个 行业 需要 的 不 是 资历 ， 而 是 “经 验 ”。 
即使 你 把 手头 上 的 工作 重复 十 年 , 没有 思考 ,不 经 过 系统 的 学 习 和 提炼 ,你 的 经 历 永远 只 能 是 低 
层次 的 重复 而 已 。 该 如 何 学 习 ? 该 如 何 思考 ? 该 如 何 系统 化 你 的 经 验 ? 


不 得 不 说 ,就 我 看 到 的 状况 而 言 ， 大 部 分 测试 工程 师 还 并 未 理解 这 个 巨大 的 转变 。 仍然 有 不 
少 人 认为 测试 就 是 根据 流程 完成 任务 , 或 是 仍然 执着 于 测试 与 开发 的 界限 , 画 地 为 牢 地 守 着 那些 
可 怜 巴 巴 的 “测试 技术 ”。 从 这 个 意义 上 说 ， 史 亮 这 本 书 适 着 其 时 ， 它 不 是 一 本 以 说 教 口 易 教 你 
“该 如 何 一 步 一 步 做 好 测试 ”的 书 ， 也 不 是 一 本 告诉 你 测试 领域 又 出 现 了 多 少 新 名 词 的 书 ， 它 用 
作者 本 人 的 经 验 ， 和 你 分 享 一 个 在 测试 行业 勤 于 思考 的 人 对 测试 的 理解 。 

这 本 书 不 是 一 本 让 你 用 来 模仿 的 书 , 而 是 一 本 让 你 有 所 思考 的 书 。 史 亮 在 本 书 中 和 盘 托 出 的 ， 
不 是 自己 的 武功 招式 , 而 是 自己 的 心 法 。 如 果 想 要 从 本 书 中 得 到 最 大 的 价值 , 我 建议 你 静 下 心 来 ， 
仔细 品读 史 亮 在 本 书 中 娓 九 道 来 的 思考 ， 在 他 的 带领 个 ， 和 他 一 起 领略 思考 的 乐趣 吧 。 
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SN 


我 和 史 亮 从 2009 年 就 认识 了 , 对 于 史 亮 在 测试 技术 上 的 钻研 精神 我 非常 敬 修 。 前 两 年 我 有 幸 
和 史 亮 合作 一 起 编写 《探索 式 测试 实践 之 路 》 一 书 , 在 那 段 测 试 技术 交流 的 日 子 里 ， 史 亮 对 于 软 
件 测试 的 前 沿 测 试 技术 和 测试 理念 的 理解 让 我 印象 非常 次 刻 。 他 还 积极 地 在 工作 中 实践 最 新 的 测 
试 技术 ， 分 享 自己 的 心得 体会 ， 一 直 是 我 学 习 的 榜样 。 


通过 查看 这 本 书 的 参考 文献 就 知道 ， 史 亮 很 认真 地 编写 这 本 关于 软件 测试 技术 的 实战 书 
籍 ,我 也 仔细 地 阅读 了 该 书 相关 章节 ,最 大 的 感受 就 是 这 本 书 的 可 操作 性 比较 强 ,与 传统 测试 书 
籍 的 理论 知识 较 多 而 实际 案例 较 少 相 比 , 这 本 书 更 能 让 我 们 体会 到 理论 和 实践 的 相互 结合 和 相 辅 
相 成 的 关系 。 史 亮 在 微软 美国 总 部 接触 到 了 这 么 多 前 沿 的 测试 技术 和 理论 并 将 它们 付 诸 实 践 ,这 
些 宝贵 的 经 验 都 沉 多 多 地 包含 在 这 本 书 里 ,特别 是 第 4 章 的 建 模 技术 和 第 5 草 的 测试 分 析 技 术 , E 
亮 将 业界 大 部 分 测试 技术 和 分 析 方法 通过 简单 实用 的 方式 描述 出 来 , 方便 读者 学 习 和 应 用 。 我 认 
为 , 读者 看 了 这 本 《软件 测试 实战 > 后 ,80% 的 软件 测试 书籍 和 测试 文章 都 可 以 不 用 再 去 阅读 了 ， 
为 精华 的 内 容 和 微软 一 线 测试 专家 亲自 实践 的 心得 都 涵盖 在 本 书 里 。 


史 亮 不 仅 在 测试 开发 和 测试 管理 上 有 自己 的 独特 见解 , 也 善于 在 工作 过 程 中 思考 如 何 更 好 
地 做 软件 测试 ， 如 何 更 好 地 分 析 产 品 、 提 高 测试 效率 。 我 和 史 亮 都 认为 ， 软 件 测试 分 析 、 设 计 、 
管理 在 整个 项 目 周期 中 是 个 动态 的 过 程 , 并 且 存在 较 好 的 手段 来 提高 和 控制 这 个 动态 过 程 ，《 软 
件 测试 实战 》 将 告诉 读者 如 何 更 好 地 控制 和 提升 整个 动态 过 程 。 同 时 这 本 书 也 传递 了 这 样 一 种 理 
念 : 软件 测试 不 仅仅 是 测试 工程 师 的 个 人 舞台 ， 更 需要 和 项 目 团 队 、 被 测 项 目 / 产 品 、 个 人 管理 
充分 融合 和 滋润 ， 才 能 完美 地 体现 软件 测试 的 价值 。 


目前 国内 的 很 多 大 公司 都 有 测试 开发 工程 师 这 个 岗位 , 但 是 很 多 人 会 认为 测试 开发 工程 师 
更 多 的 是 从 事 开 发 的 工作 , 而 不 是 测试 的 工作 。 史 亮 将 自己 在 微软 总 部 的 亲身 实践 经 历 告诉 读者 ， 
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如 何 来 理解 测试 和 开发 的 关系 ,如 何 把 测试 开发 工作 效益 最 大 化 ,如 何 做 有 效 的 自动 化 测试 ， 而 
不 是 盲目 的 自动 化 测试 。 

最 后 ,我 极力 推荐 这 本 《软件 测试 实战 》， 因 为 它 不 仅 会 让 你 学 习 到 最 新 的 测试 技术 和 实 
践 成 果 ， 而 且 会 让 你 体会 和 理解 一 个 在 测试 技术 上 不 断 突破 自我 的 工程 师 的 心路 历程 。 


高 翔 


淘宝 资深 测试 工程 师 ，《 探 索 式 测试 实践 之 路 》 合 著者 


前 一 
FORWORD Q 


我 在 攻读 博士 学 位 时 开始 研究 软件 测试 , 毕业 后 一 直 任 职 测试 工程 师 , 从 事 第 一 线 的 测试 工 
E, 不 知 不 觉 已 有 十 余年 的 光阴 。 在 此 期 间 , 我 阅读 过 大 量 的 测试 文献 ， 参 与 过 多 个 不 同类 型 的 
测试 项 目 ， 既 学 到 了 许多 有 价值 的 方法 ， 也 观察 到 了 一 些 不 太 有 效 的 实践 ， 既 通过 努力 获得 过 成 
功 的 经 验 ， 也 从 错误 中 得 到 了 宝贵 的 教训 。 随 着 经 历 的 增长 ， 我 渐渐 构建 出 自己 的 知识 体系 ， 从 
实践 中 打磨 出 一 批 指导 测试 工作 的 策略 与 经 验 。 自 然而 然 , 一 个 朴素 的 想法 浮现 出 来 : 如 果 将 我 
的 所 学 所 知 分 享 给 更 多 的 测试 工程 师 , 想必 能 帮助 他 们 节省 学 习 与 积累 的 时 间 , 以 更 快 地 提高 测 
试 水 平 。 在 该 想法 的 驱动 下 ,我 广泛 地 阅读 了 测试 文献 , 深入 地 反思 了 自己 的 实践 ,， 并 开始 了 漫 
长 的 写作 。 成 果 就 是 您 所 读 到 的 这 本 书 。 


本 书 分 享 了 我 从 事 软 件 测试 工作 所 学 到 的 知识 和 所 总 结 的 经 验 , 旨 在 帮助 测试 人 员 建 立正 确 
的 观念 ， 并 掌握 一 批 切 合 实战 的 测试 技术 。 一 方面 , 我 总 结 了 测试 专家 的 见解 和 方法 ,将 其 精华 
内 容 综 述 在 本 书 之 中 ， 以 帮助 读者 提高 学 习 效 率 、 快 速 地 掌握 综合 性 的 技能 。 男 一 方面 , 我 努力 
将 自己 的 经 验 和 反思 融入 书稿 , 使 它 反 映 出 我 在 工作 中 使 用 的 策略 、 方 法 和 技巧 。 总之, 这 是 一 
本 注重 实效 的 书 ， 尝 试用 理论 结合 实践 的 方式 来 解决 现实 的 问题 。 


本 书 的 组 织 方式 


在 概述 一 些 基 本 测试 观点 〈 第 1 章 ) 之 后 ， 本 书 按照 “启发 式 测试 策略 模型 ”( 参见 4.2.1 节 ) 
的 基本 元 素来 展开 论述 : 观察 到 的 质量 (第 2 章 )、 测 试 设计 (第 3、4、5、6 章 )、 产 品 元 素 ( 第 7 
章 ) 和 项 目 环境 (第 8 章 )。 随 后 ， 讨 论 了 测试 人 员 如 何 参 与 团队 工作 (第 9 章 ) 并 实施 个 人 管理 
(第 10 章 )。 


口 第 1 章 阐 述 我 对 软件 测试 的 基本 观点 ,介绍 了 我 的 测试 价值 观 。 作 为 指导 原则 ， 它 们 将 贯 
穿 全 书 的 内 容 。 


口 第 2 草 讨 论 了 测试 人 员 最 主要 的 工作 产 出 一 一 缺陷 报告 ， 介 绍 了 一 批 实践 方法 ， 帮 助 测试 

人 员 高 质量 地 报告 缺陷 ， 并 利用 该 过 程 来 改进 测试 设计 。 

口 第 3 前 讨论 作为 测试 辅助 工具 的 测试 文档 ,介绍 了 一 些 编写 和 维护 文档 的 原则 和 方法 。 通 

过 分 析 一 批 具 体 的 测试 文档 ， 展 示 出 测试 设计 的 迭代 性 和 多 样 性 。 

口 第 4 章 介 绍 指导 测试 设计 的 模型 ， 通 过 应 用 组 合 测试 ， 阐 述 了 如 何 根据 项 目 语 境 来 完善 测 

试 模型 ， 然 后 介绍 了 测试 建 模 的 基本 原则 和 常用 方法 。 

口 第 5 章 介绍 一 个 测试 技术 分 类 系统 ， 以 概览 各 类 测试 技术 。 人 然后， 讨论 了 一 批 有 价值 的 测 
试 技术 ， 包 括 启 发 式 测试 先知 、 漫 游 测 试 、 快 速 测试 、 情 景 测试 等 。 在 此 基础 上 ， 强 调 
了 测试 人 员 应 该 多 样 地 选择 测试 技术 ， 以 动态 地 优化 测试 的 价值 。 

口 第 6 章 讨论 了 测试 开发 的 基本 分 类 ， 然 后 针对 自动 化 测试 、 计 算 机 辅助 测试 和 大 规模 自动 

化 测试 ， 阐 述 了 它们 的 基本 概念 、 设 计 目 标 、 开 发 策略 和 实 作 方 法 。 

口 第 7 章 讨论 如 何 从 测试 视角 来 研究 软件 产品 和 业务 领域 , 介绍 了 静态 分 析 、 动 态 分 析 、 关 

系 人 研究 、 需 求 评审 、 测 试 调查 、 网 络 调研 、 领 域 研 究 等 研究 方法 。 

口 第 8 章 讨论 如 何 从 测试 视角 来 研究 项 目 环境 ， 介 绍 了 团队 分 析 、 缺 陷 分 析 、 源 码 分 析 、 构 

建 分 析 、 自 动 化 测试 分 析 、 基 于 风险 的 测试 等 研究 方法 。 

口 第 9 章 探讨 测试 人 员 如 何 有 效 地 在 团队 中 工作 ， 以 及 如 何 恰当 地 实施 测试 管理 。 针 对 一 些 

常见 任务 ， 如 小 组 协作 、 测 试 计 划 、 工 作 量 估算 、 软 件 度量 等 ， 提 出 了 一 批注 重 实效 的 


Tithe 
O 第 10 章 分 享 了 我 实施 个 人 管理 的 基本 方法 ， 包 含 时 间 管理 、 个 人 学 习 、 经 验 积累 、 专 业 
发 展 等 。 
目标 读者 


本 书 的 主要 读者 是 具备 一 定 测试 经 验 、 想 要 进一步 提高 测试 能 力 的 测试 工程 师 。 全 书 综合 了 
测试 行家 的 专业 建议 和 我 的 实践 经 验 ， 探讨 了 测试 价值 观 、 测 试 设计 、 产 品 研究 、 项 目 研 究 、 团 
队 协 作 、 个 人 管理 等 多 个 方面 ,能够 帮助 读 考 更 好 地 理解 软件 测试 ， 并 提高 实践 水 平 。 本 书 的 内 
容 面向 广大 的 测试 社区 , 并 不 要 求 读者 掌握 特定 的 背景 知识 。 我 希望 它 能 够 适合 大 多 数 测试 人 员 ， 
并 通过 解决 现实 问题 来 引起 读者 的 共鸣 。 


此 外 ， 本 书 是 很 好 的 软件 工程 课程 、 软 件 测 试 课 程 和 测试 培训 的 参考 资料 ， 能 帮助 本 科 生 、 
研究 生 和 测试 学 员 更 好 地 理解 真实 的 软件 测试 。 一 些 测试 人 员 在 工作 后 会 发 现 , 课程 教材 和 培训 
教程 所 描述 的 内 容 并 不 切合 实际 的 测试 工作 。 例 如, 课本 中 的 测试 设计 和 执行 是 线性 实施 的 , EL 
实测 试 流程 却 是 迭代 展开 的 ; 缺陷 报告 常常 是 测试 工作 的 核心 产 出 , 教材 却 没有 讨论 如 何 有 效 地 
管理 缺陷 报告 ; 测试 人 员 被 要 求 撰 写 文档 , 其 成 果 又 被 束之高阁 ， 却 少 有 教程 讨论 如 何 编写 有 价 
值 的 文档 。 这 时 ， 他 们 可 以 参考 本 书 所 提出 的 建议 ， 从 而 发 展 出 更 有 效 的 工作 策略 。 


。 Xi 。 


如 何 阅读 本 书 


本 书 第 1 章 讨论 软件 测试 的 基本 事实 和 价值 观 ， 是 全 书 内 容 的 基础 ， 需 要 首先 阅读 。 在 读 完 
第 1 章 后 ， 读 者 可 以 按 任 意 顺 序 阅 读本 书 。 您 既 可 以 顺序 浏览 ， 以 概观 软件 测试 ， 也 可 以 有 选择 
地 阅读 感 兴趣 的 章节 ， 并 在 阅读 的 过 程 中 参考 相关 内 容 。 


这 是 一 本 关于 实践 的 书 ， 许 多 建议 和 方法 来 自 于 实践 。 软 件 开 发 专家 Ralph E. Johnson 指出 ， 
“从 实践 中 来 的 知识 在 没有 实践 之 前 是 无 法 被 真正 理解 的 ”( practical knowledge has to be 
experienced to fully understood )， 测 试 专家 Cem Kaner, James Bach 等 也 认为 “你 不 能 掌握 测试 ， 
除非 你 重新 发 明 它 ”( You can’t master testing unless you reinvent it )。 在 阅读 过 程 中 ， 读 者 需要 积 
极 思考 本 书 的 方法 是 否 适 用 于 自己 的 项 目 , 然后 将 恰当 的 方法 应 用 于 真实 的 测试 , 并 认真 评估 其 
效果 。 通 过 练习 、 评 估 和 反思 ， 读 者 能 够 掌握 方法 的 原理 和 细节 ， 并 混和 人 自身 经 验 和 其 他 技术 ， 
以 演化 出 新 的 方法 。 坚 持 这 样 的 研究 和 创新 将 帮助 测试 人 员 走 上 精通 之 路 。 
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软件 测试 基础 


本 章 将 阐述 一 些 软件 测试 的 基本 观点 , 它们 是 全 书 的 基石 。 虽 然 它们 并 没有 得 到 所 有 人 的 认 
可 ,但 是 我 认为 它们 反映 了 软件 测试 的 基本 事实 。 测 试 人 员 需 要 仔细 分 析 它 们 ,并 用 于 实践 , 才 
能 有 效 地 实施 软件 测试 。 


1.1 软件 的 复杂 度 已 经 超越 了 人 的 理解 能 


必 应 词典 "是 我 常用 的 一 款 桌 面 软件 ( 如 图 1-1 所 示 )， 它 将 用 户 输入 的 英文 单词 发 送 给 必 应 
服务 咒 ， 然 后 接受 服务 器 所 返回 的 中 文 解释 ， 最 后 将 中 译 显示 在 界面 上 。 


Waltesting 


testing 
testing us: [tes] «1 同义词 
tests tested testing n. 
analysis 
英汉 释义 ORR ORR examination 
n. O šit me assay 
O [E] (医学 的 ) 检 查 ; 医学 鉴定 ; 化 验 assessment 
© 试验 ; 检测 experimentation 
O 艰难 处 境 ; 考验 ; 试金石 research 
© [ih] 板 球赛 ,常用 于 英 式 英语 investigation 
adj. 
v. © Mist: Was EN 
O CE) (医学 的 ) 检 查 ; 化 验 difficult 
© 为 鉴定 而 进行 ) 检 验 ; 检测 ; 试验 taxing 
0 考验 ; 考查 tough 
例句 用 法 fying 
hard 
1. All pupils would have easy access to emergency contraception (XGA) easy 
Y 205 PMH PRATER REA Pma IRN 


图 1-1 必 应 词典 


O http://dict.bing.msn.cn, 
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必 应 词典 是 一 个 .NET 程 序 "。 它 会 启动 一 个 专属 线程 来 接受 服务 器 的 返回 结果 ， 其 托管 代码 
(managed code ) 的 调用 栈 类 如 代码 清单 1-1 所 示 。 


代码 清单 1-1 必 应 词典 的 调用 栈 


System.Net.UnsafeNclNativeMethods+0SS0CK.recv(IntPtr, Byte*, Int32, 
System.Net.Sockets.SocketFlags) 

System.Net.Sockets.Socket.Receive(Byte[], Int32, Int32, 
System.Net.Sockets.SocketFlags, System.Net.Sockets.SocketError ByRef) 

System.Net.Sockets.Socket.Receive(Byte[], Int32, Int32, 
System.Net. Sockets. SocketFlags) 

System.Net. Sockets .NetworkStream.Read(Byte[], Int32, Int32) 

System.Net.PooledStream.Read(Byte[], Int32, Int32) 

System.Net.Connection.SyncRead(System.Net.HttpWebRequest, Boolean, Boolean) 

System.Net.Connection.PollAndRead(System.Net.HttpWebRequest, Boolean) 

System.Net.ConnectStream.PollAndRead (Boolean) 

System.Net.HttpWebRequest. EndWriteHeaders (Boolean) 

System.Net.HttpWebRequest .WriteHeadersCallback(System.Net.WebExceptionStatus, 
System.Net.ConnectStream, Boolean) 

System.Net.ConnectStream.WriteHeaders (Boolean) 

System.Net.HttpWebRequest. EndSubmitRequest () 

System.Net.HttpWebRequest .CheckDeferredCallDone(System.Net.ConnectStream) 

System.Net.HttpWebRequest.GetResponse() 

System.Web. Services.Protocols.WebClientProtocol.GetWebResponse 
(System.Net .WebRequest) 

System.Web. Services.Protocols.HttpWebClientProtocol.GetwWebResponse 
(System. Net .WebRequest) 

System.Web. Services.Protocols.SoapHttpClientProtocol. Invoke(System. String, 
System.Object[]) 

Engkoo.Ehc.Core.EhcAPI.EhcDataServiceV1.GetEditModeResult (System.String, 
System.String, System.String, System.String, Int32, Boolean) 

Engkoo.Ehc.Core.OnlineDictionaryV2.ProcessEditRequest (DataRequest) 

Engkoo.Ehc.Core.OnlineDictionaryV2.AsyncProc() 

System. Threading. ThreadHelper. ThreadStart_Context (System.Object) 

System. Threading. ExecutionContext.runTryCode(System.Object) 

[HelperMethodFrame_PROTECTOBJ: Oda8f3f8] 
System. Runtime. CompilerServices.RuntimeHelpers .ExecuteCodeWithGuaranteedCleanup 
(TryCode, CleanupCode, System.Object) 

System. Threading. ExecutionContext.RunInternal (System. Threading. ExecutionContext, 
System. Threading.ContextCallback, System.Object) 

System. Threading. ExecutionContext.Run(System. Threading.ExecutionContext, 
System. Threading.ContextCallback, System.Object) 

System. Threading. ThreadHelper. ThreadStart() 


该 调用 栈 涉及 26 个 函数 ， 使 用 了 一 些 典 型 的 开发 技术 ， 有 具体 如 下 所 示 。 


口 Socket 通 信 (System.Net.Socket ) 
口 HTTP 通 信 ( System.Net.HttpWebRequest ) 
口 SOAP 通 信 协 议 ( System.Web.Services.Protocols.SoapHttpCLientProtocol ) 


D 本 章 讨论 的 是 必 应 词典 1.7 版 。 自 2.0 版 开始 ， 必 应 词典 的 主 程序 ( BingDict.exe ) 不 青 是 .NET 程 序 ， 而 是 C/C++ 程序 。 


“2. 


1.1 软件 的 复杂 度 已 经 超越 了 人 的 理解 能 


口 异步 调用 ( Engkoo.Ehc.Core.0nlineDictionaryV2.AsyncProc ) 
O 线程 (System.Threading ) 


随 着 开发 技术 的 发 展 ， 现 在 开发 人 员 不 必 理 解 这 些 技术 细节 ， 只 要 调用 程序 库 ， 就 可 以 完成 
客户 端 ( 必 应 词典 ) 与 服务 端 ( 必 应 服务 器 ) 的 通信 。 相 比 于 底层 技术 ， 这 些 程序 库 提 供 了 更 高 
的 抽象 层次 。 然而 , 软件 专家 Jole Spolsky 提 出 了 经 验 法 则 “抽象 漏洞 定律 ”:“ 所 有 非 平凡 的 抽象 ， 
在 某 种 程度 上 ， 都 存在 漏洞 。”[Spolsky02] 他 敏锐 地 指出 ， 虽 然 高 抽象 层次 的 语言 、 程 序 库 和 框 
架 等 技术 提高 了 开发 者 的 生产 力 , 使 他 们 不 必 总 是 关心 技术 细节 ,然而 总 是 存在 一 些 情况 , 需要 
开发 者 深入 底层 ,去 研究 那些 为 了 提高 生产 率 而 省 略 的 细节 问题 。 高 抽象 级 别 的 技术 虽然 可 以 减 
少 编写 代码 的 时 间 , 但 是 并 不 能 减少 开发 者 学 习 整 个 技术 栈 的 时 间 。 只 停留 在 高 抽象 层次 的 开发 
者 将 难以 解决 复杂 的 实际 问题 ， 且 有 可 能 引入 更 多 的 设计 错误 。 


对 于 必 应 词典 ,与 服务 器 通信 和 是 相对 简单 的 任务 ， 它 使 用 了 一 些 常 见 的 重要 技术 ,开发 者 完 
全 理解 这 些 技术 需要 付出 很 大 的 努力 。 然 而 ， 必 应 词典 所 涉及 的 技术 细节 远 不 止 于 此 ， 它 拥有 40 
多 个 线程 ， 加 载 170 多 个 动态 链接 库 ， 拥 有 1000 多 个 Windows 句 柄 。 训 不 夸张 地 说 ， 几 乎 没有 人 
可 以 完全 理解 它 使 用 的 所 有 技术 ， 也 无 法 掌握 它 任意 时 刻 的 状态 。 


不 过 ,软件 技术 只 是 软件 复杂 性 的 一 部 分 。 成 功 的 软件 必须 帮助 用 户 解决 实际 问题 ， 使 他 们 
获得 成 功 。 因 此 , 项 目 团队 需要 研究 用 户 情景 和 领域 知识 ， 然 后 创造 性 地 提出 解决 方案 ， 并 选择 
合适 的 技术 来 实现 。 在 这 个 研究 、 创 造 、 应 用 的 过 程 中 , 项目 团 队 会 面临 更 多 的 挑战 和 困难 ， 而 
能 否 处 理 领域 复杂 度 和 设计 复杂 度 是 决定 产品 成 败 的 关键 。 例 如 ,对 于 必 应 词典 而 言 ， 发 送 请 求 
并 接受 响应 是 相对 容易 的 ， 困 难 的 是 为 一 个 单词 提供 准确 的 定义 、 例 句 、 搭 配 、 同 义 词 等 信息 ， 
更 困难 的 是 为 一 个 句子 提供 恰当 的 翻译 , 并 流畅 地 将 它 朗 读 出 来 。 这 些 困难 的 任务 恰恰 是 用 户 选 
择 词典 软件 的 重要 参考 。 


由 以 上 讨论 不 难看 出 ， 软 件 复杂 度 包 含 技 术 、 领 域 、 设 计 等 多 个 方面 。 随 着 软件 行业 的 快速 
发 展 ,软件 复杂 度 已 经 超越 了 个 人 的 理解 能 力 。 那 么 ， 从 测试 的 角度 来 说 , 测试 人 员 应 该 如 何 应 
对 这 一 情况 呢 ? 本 书 所 介绍 的 大 部 分 实践 都 是 为 了 解决 该 问题 的 。 在 这 里 , 我 简单 陈述 一 些 基 本 
态度 和 方法 。 


口 对 于 复杂 的 软件 ， 任 何人 都 不 可 能 掌握 全 部 的 信息 。 如 果 测 试 人 员 对 软件 的 理解 存在 许 
多 偏差 ,他 的 测试 策略 一 定 会 包含 错误 。 为 了 更 好 地 理解 软件 ， 他 需要 与 产品 经 理 、 程 
序 员 、 领 域 专 家 、 测 试 同事 等 协作 ， 还 需要 研究 项 目 文 档 、 技 术 资 料 、 领 域 专著 等 文献 ， 
并 通过 实际 测试 去 获得 第 一 手 知识 。 测 试 人 员 不 应 该 依赖 单一 的 或 局 限 的 信息 源 ， 他 应 
该 从 各 种 渠道 获得 信息 ， 多 角度 地 研究 软件 。 

口 由 于 软件 如 此 复杂 ， 大 多 数 测试 人 员 在 项 目 之 初 都 不 其 了 解 软件 ， 其 拟定 的 初始 测试 方 
案 或 多 或 少 都 存在 错漏 ， 有 些 甚 至 存在 严重 错误 。 注 重 实效 的 测试 人 员 ， 会 承认 测试 方 
案 是 不 完备 的 ， 并 和 迭代 地 实施 测试 ， 通 过 持续 地 评估 和 反思 来 逐步 增强 测试 方案 。 
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O 对 于 现实 世界 的 软件 ， 穷 举 测试 是 不 可 行 的 。 任 何 实用 的 测试 技术 都 是 基于 一 定 策略 的 
采样 ， 即 从 无 限 多 的 测试 输入 中 选择 一 个 数量 有 限 的 子 集 ， 通 过 运行 这 批 测试 来 评 佑 软 
件 的 整体 情况 。 考 虑 到 软件 的 复杂 度 ， 任 何 一 种 测试 技术 都 存在 不 能 正确 评估 软件 的 风 
o ME, 在 测试 之 初 ， 测试 人 员 也 很 难 预料 究竟 哪些 测试 技术 才 适 合 当前 项 目 。 为 此 ， 
测试 人 员 应 该 积累 多 种 测试 技术 ， 综 合 运用 它们 ， 并 随 着 项 目 发 展 积极 调整 测试 策略 ， 
才能 避免 重大 测试 遗漏。 

O 人 们 处 理 复杂 问题 的 常用 策略 是 “分 而 治之 ”。 在 软件 领域 ,建立 合理 的 抽象 模型 是 应 对 
软件 复杂 性 的 常见 方式 。 在 测试 领域 ,测试 人 员 可 以 建立 产品 的 模型 来 帮助 测试 。 在 建 
模 过 程 中 ， 他 们 以 当前 测试 目标 为 指导 ， 省 略 无 关 的 产品 细节 ， 突 出 重要 的 产品 元 素 。 
面 对 简 化 后 的 产品 模型 ， 可 以 更 有 针对 性 地 实施 测试 设计 。 

O 在 大 规模 软件 中 ， 对 于 少量 代码 的 变更 都 不 可 以 掉以轻心， 因为 修改 者 、 代 码 评审 者 、 
测试 者 都 很 难 预料 这 段 代 码 被 调用 的 语 境 和 执行 后 的 影响 。 例 如 ， 程 序 员 要 修改 网 页 浏览 
av (ITE. Chrome, Firefox% ) 排版 引擎 的 一 个 排版 缺陷 ， 通 常 需 要 运行 大 规模 的 回归 测 
试 。 因 为 全 世界 的 网 页 千差万别 ， 很 难 预 测 这 段 代码 会 排版 何 种 网 页 ， 也 很 难 预测 这 段 代 
码 是 否 会 破坏 某 些 精心 排版 的 页 面 。 只 有 运行 大 规模 测试 ， 才 能 保证 代码 变更 的 正确 性 。 

口 单 任 人 的 脑力 已 经 难以 应 对 软件 的 复杂 度 了 ， 测 试 人 员 需 要 考虑 利用 自动 化 测试 开发 强 
力 的 测试 策略 。 
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不 同 的 人 有 不 同 的 背景 、 不 同 的 目标 、 不 同 的 任务 ， 对 软件 测试 也 会 给 出 不 同 的 定义 ， 因 此 
不 存在 放 之 四 海 缘 准 的 软件 测试 定义 。 不 过 ， 对 于 软件 测试 工程 师 而 言 ， 我 认为 有 3 个 软件 测试 
的 定义 很 有 启发 性 。 

定义 1: 测试 是 为 了 发 现 错误 而 执行 程序 的 过 程 [Myers79]。 

该 定义 是 Glenford J. Myers 在 1979 年 提出 的 ， 历 经 30 多 年 的 考验 ， 至 今 仍 被 广泛 引用 和 讨论 。 
这 是 一 句 简短 而 有 力 的 论述 , 它 紧 扣 测试 的 基本 活动 一 一 执行 程序 和 寻找 错误 , 符合 大 多 数 测 试 
人 员 的 工作 内 容 ,， 因 此 更 容易 获得 广泛 认可 。 此 外 , 它 揭示 了 软件 测试 的 根本 原因 ， 即 某 些 重要 
的 东西 可 能 出 错 [Kaner01]， 软 件 测试 就 是 要 发 现 这 些 错 误 。 

它 给 测试 人 员 的 启示 是 , 测试 人 员 应 该 始终 质疑 并 挑战 软件 。 有 些 测试 任务 的 字面 内 容 类 似 
于 “检查 本 次 代码 变更 是 正确 的 ”， 好 像 要 求 测试 人 员 去 验证 软件 行为 是 正确 的 。 对 于 此 类 任务 ， 
测试 人 员 应 该 假定 代码 变更 引入 了 未 知 的 错误 , 然后 想 尽 办 法 去 攻击 软件 。 即 便 测试 人 员 最 后 的 
结论 是 “我 没有 发 现 错误 ”， 攻 击 性 的 测试 过 程 也 使 这 个 结论 更 有 可 信和 度 。 

定义 2: 测试 是 一 个 获取 信息 的 过 程 ， 用 来 降低 决策 风险 [Weinberg08]。 

Genald M. Weinberg 认 为 人 不 是 完美 的 思考 者 ， 面 对 复杂 的 情况 会 作出 许多 错误 的 决定 。 在 
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采购 、 选 择 、 使 用 、 开 发 软件 的 过 程 中 ， 人 们 需要 作出 许多 决定 。 不 完美 的 思考 导致 有 风险 的 决 
策 ， 可 能 造成 巨大 的 损失 。 他 指出 测试 可 以 获得 更 多 的 信息 , 使 人 们 更 周全 地 思考 ， 从 而 降低 错 
误 决 策 的 风险 。 


该 定义 给 了 我 〈 一 个 测试 人 员 ) 一 系列 启示 。 


O 测试 是 服务 性 的 工作 。 通 过 测试 ， 我 向 整个 团队 提供 关于 产品 质量 和 项 目 环境 的 信息 ， 
帮助 他 们 作出 决定 。 
口 低 质 量 的 信息 不 但 无 助 于 决策 ， 还 可 能 浪费 团队 的 时 间 ， 甚 至 作出 错误 的 决策 。 因 此 ， 
我 应 该 总 是 提供 高 质量 的 信息 。 这 通常 体现 为 及 时 地 交流 、 周 密 地 测试 、 仔 细 地 报告 。 
口 团队 的 决定 可 能 与 我 的 期 望 不 一 致 ， 要 去 理解 导致 该 决定 的 其 他 信息 。 例 如 ， 我 提交 了 
一 个 严重 的 缺陷 ， 团 队 领导 却 决定 不 予 修复 。 此 时 ， 应 该 提供 更 多 的 信息 ， 据 理 力争 ， 
同时 要 去 理解 不 予 修复 背后 的 原因 ， 从 而 更 好 地 理解 软件 和 项 目 。 
口 为 了 更 全 面 地 提供 信息 ， 除 了 运行 软件 ,我 还 需要 更 多 的 获取 信息 的 方法 。 常 见 的 手段 包 
括 与 程序 员 交 谈 、 研 究 项 目 资料 、 学 习 领 域 知识 、 阅 读 源 代码 、 在 调试 器 中 观察 软件 等 。 
O 除了 软件 缺陷 ， 测 试 还 可 以 提供 关于 项 目 环境 的 信息 。 例 如 ， 在 项 目 过 程 中 ， 产 品 安装 
总 是 遇 到 许多 问题 。 在 报告 缺陷 的 同时 ， 我 还 可 以 向 团队 领导 反馈 :“ 开 发 小 组 是 否 在 产 
品 安装 上 投入 了 足够 多 的 资源 ? 因为 安装 是 任何 测试 的 先决 条 件 ， 安 装 的 错误 将 阻碍 或 
延 组 测试， 测试 小 组 建议 将 它 视 作 第 一 等 的 功能 需求 。 


定义 3: 软件 测试 是 一 种 技术 调查 ， 其 目的 是 向 关系 人 提供 有 关 产 品 ( 软件、 系统 或 服务 ) 
质量 的 实验 信息 [Kaner06]。 


该 定义 是 Cem Kaner 教 授 提 出 的 ， 他 也 认为 测试 是 一 种 服务 。 服 务 的 客户 是 项 目 关系 人 ， 服 
务 的 内 容 是 提供 产品 质量 的 实验 信息 。 质 量 就 是 对 某 个 〈 某 些 ) 人 而 言 的 价值 [Gause89]。 不 同 
的 人 对 于 质量 有 不 同 的 评判 标准 ， 对 于 信息 有 不 同 的 需求 。 常 见 的 项 目 关 系 人 包括 客户 〈 购买 产 
品 的 人 )、 用 户 (使 用 产品 的 人 )、 程 序 员 、 产 品 经 理 、 运 维 人 人员、 市 场 营销 人 员 、 管 理 人 员 等 ， 
他 们 对 信息 的 需求 是 测试 人 员 主 要 的 工作 内 容 。 请 看 如 下 案例 。 


口 测试 经 理 对 测试 人 员 说 :“ 你 刚 提交 了 一 个 严重 的 缺陷 ， 做 得 好 ! 但 是 ， 现 在 临近 发 布 ， 
修复 它 的 风险 很 高 。 你 能 不 能 调查 一 下 这 个 缺陷 在 哪些 情况 下 出 现 ， 会 影响 哪些 用 户 ， 
导致 的 最 坏 结果 是 什么 ? 我 们 会 根据 这 些 信息 来 决定 是 否 修复 和 修复 策略 。 

O 程序 员 对 测试 人 员 说 :“ 我 完成 了 一 个 补丁 的 开发 ， 下 周 将 部 署 到 产品 环境 中 。 你 能 和 否 在 
预 发 布 环境 中 部 署 它 ， 并 跑 一 些 系统 测试 ? 它 只 是 缺陷 修复 ,没有 引入 新 功能 ， 应 该 不 
会 破坏 当前 系统 的 运行 。 

O 产品 经 理 对 测试 人 员 说 :“ 我 们 在 当前 版 本 中 启用 了 新 的 图 形 泻 染 引擎 ， 能 够 明显 提高 画 
质 ， 但 是 试用 者 反映 这 个 版 本 的 性 能 不 如 上 一 版 。 你 能 不 能 做 一 些 实验 ， 看 看 当前 版 本 
在 哪些 场景 中 比较 慢 ， 慢 多 少 ? ” 


i 
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口 运 维 人 员 对 测试 人 员 说 :“ 一 个 用 户 在 产品 论坛 上 发 帖 说 ， 软 件 在 启动 时 会 弹出 一 个 报 
错 对 话 框 , 跟 帖 的 几 个 人 也 说 遇 到 过 相同 的 情况 。 我 从 没有 见 过 该 问题 ,所 以 不 知 如 何 
解决 。 你 能 不 能 看 一 下 这 个 帖子 , 试 着 在 测试 环境 中 复 现 ”这 个 缺陷 在 下 一 版 已 经 修复 
了 吗 ?” 


以 上 案例 都 表明 ,除了 发 现 缺陷 外 , 测试 人 员 还 通过 多 种 方式 向 不 同 的 关系 人 提供 信息 : 向 
管理 人 员 提 供 调查 报告 ， 向 程序 员 提 供 代码 的 质量 反馈 ， 向 产品 经 理 提 供 技术 支持 ， 向 运 维 人 员 
提供 已 知 缺 陷 的 信息 , 在 邮件 组 中 回答 用 户 提问 等 。 为 了 更 有 效 地 测试 , 测试 人 员 需 要 与 测试 经 
理 讨论 ， 设 定 测试 服务 的 优先 级 ， 为 关系 人 提供 满足 其 要 求 的 高 质量 的 信息 。 例 如 ， 提 供给 测试 
经 理 的 信息 要 面向 项 目 风 险 , 提供 给 程序 员 的 信息 要 包含 更 多 的 技术 细节 ,提供 给 产品 经 理 的 信 
息 要 侧重 于 用 户 体验 和 产品 价值 ， 提 供给 运 维 人 员 的 信息 要 建议 可 能 的 解决 方案 。 


此 外 ，Cem Kaner 还 强调 软件 测试 的 主要 工作 是 技术 调查 ， 即 以 职业 的 态度 、 专 业 的 技能 对 
产品 的 未 知 领域 进行 探索 。 与 地 质 勘查 、 罪 案 侦 查 、 事 故 调查 等 调查 活动 相似 , 测试 具有 系统 性 、 
客观 性 、 探 索性 和 机 动 性 。 


口 测试 应 该 系统 地 调查 被 测试 对 象 。 测 试 人 员 需 要 对 产品 进行 周密 的 分 析 与 检查 。 地 质 勘 
查 结束 后 ， 勘 查 人 员 会 给 出 详细 的 地 质 图 ， 以 描绘 该 地 区 的 全 貌 。 测 试 结束 后 ,测试 人 
员 也 应 该 全 面 掌握 被 测试 对 象 的 情况 。 

口 测试 所 提供 的 信息 应 该 来 自 科学 实验 和 中 立 观 察 。 在 真实 和 客观 的 基础 上 ， 包 含 合 理 的 

推测 和 建议 。 

口 刑侦 人 员 会 利用 多 种 方法 ， 从 各 个 信息 源 收集 情报 ， 因 为 很 难 预测 何 处 会 有 重大 发 现 。 
当 突 破 性 情报 浮现 时 ， 他 们 会 转移 工作 重点 ， 顺 着 新 线索 紧 妃 不 舍 。 测 试 人 员 也 需要 综 
合 运 用 多 种 技术 和 工具 ， 去 探究 新 的 信息 ， 并 根据 新 发 现 及 时 调整 测试 方向 。 

口 优秀 的 潜水 员 既 能 够 通过 浮 潜 去 游历 宽阔 的 水 域 ， 也 可 以 利用 水 肺 潜水 去 探索 深海 水 域 

[DeMarco08]。 测 试 人 需要 交替 使 用 广度 调查 和 深度 调查 ， 从 而 更 有 效 地 提供 信息 。 广 度 

调查 有 助 于 发 现 高 风险 的 区 域 ， 深 度 调查 能 够 提供 详细 的 信息 ， 以 支持 项 目 关系 人 作出 

正确 的 决定 。 


1.3 测试 是 迭代 过 程 


测试 是 一 个 贯穿 项 目 周期 的 调查 过 程 。 为 了 阐述 技术 细节 , 许多 测试 文献 只 讨论 了 该 过 程 的 
一 小 部 分 。 因 此 ,它们 无 意 中 将 测试 描绘 为 一 个 线性 过 程 : 测试 人 员 获 得 测试 任务 ， 对 被 测 软件 
进行 分 析 ， 制 订 测 试 计划 ， 确 定 测 试用 例 ， 然 后 …… 没 有 “然后 ”了 ,因为 大 多 数 文献 只 写 完 第 
一 轮 测 试 设计 便 结束 了 。 


但 是 测试 并 不 是 一 个 线性 过 程 。《 计 算 机 软件 测试 [Kaner01] 第 1 章 的 目录 更 符合 测试 人 员 的 
工作 方式 。 


1.3 ”测试 是 迭代 过 程 


1. 第 一 个 测试 周期 

1.1 第 1 步 : 从 显而易见 的 简单 测试 开始 

12 第 2 步 : 记录 还 需要 测试 什么 

1.3 第 3 步 : 检查 有 效用 例 并 观察 发 生 了 什么 

1.4 第 4 步 : 做 一 些 “ 快 速 ”测试 

1.5 第 5 步 : 总 结对 程序 和 问题 的 认识 

.第 二 个 测试 周期 

2.1 第 1 步 : 在 进行 任何 测试 之 前 应 该 仔细 评审 对 问题 报告 的 反馈 ， 以 确定 哪些 部 分 值得 
深入 测试 

2.2 第 2 步 : 评审 对 不 予 修复 的 问题 的 意见 ， 它 们 可 能 建议 进一步 的 测试 

2.3 第 3 步 : 找 出 上 次 的 测试 笔记 ， 加 入 新 笔记 ， 并 开始 测试 

3. 后 续 测试 周期 中 可 能 会 发 生 的 事情 


该 目录 列举 了 两 个 测试 周期 中 测试 人 员 的 典型 活动 ,测试 周期 是 一 个 相对 于 测试 人 员 而 言 的 
概念 ， 它 包含 获得 可 测试 的 新 版 本 、 测 试 、 报 告 问题 ( 即 bug )、 反 思 总 结 等 活动 。 无 论 项 目 采 用 
何 种 开发 模型 ,测试 人 员 总 是 一 个 版 本 接 一 个 版 本 地 测试 ， 其 测试 活动 总 是 迭代 向 前 的 : 测试 版 
本 1 一 提交 缺陷 一 修复 缺陷 一 测试 版 本 2 一 提交 新 缺陷 一 修复 新 缺陷 一 测试 版 本 3 一 …… 


即便 在 测试 周期 内 部 ,测试 活动 也 是 迭代 的 。 以 “第 一 个 测试 周期 ”为 例 , 测试 人 员 不 熟悉 
软件 ， 所 以 第 1 步 是 运行 一 些 简 单 的 测试 ， 来 了 解 软件 的 行为 。 在 第 2 步 和 第 3 步 ， 测试 人 员 根 据 
第 1 步 获得 的 信息 设计 了 更 多 的 测试 ， 并 记录 在 案 。 他 使 用 了 一 些 经 典 的 测试 设计 方法 ， 如 边界 
值 分 析 和 等 价 类 划分 。 在 第 4 步 ， 他 使 用 了 一 些 启发 式 测试 方法 对 软件 进行 快速 攻击 。 在 第 5 步 ， 
他 对 被 测 软件 和 测试 策略 进行 了 反思 , 以 挖掘 软件 的 风险 和 测试 的 不 足 。 可 见 ,， 整 个 测试 过 程 是 
螺旋 向 上 的 :初始 的 测试 提供 了 正式 测试 设计 所 需 的 信息 ; 正式 的 测试 用 例 较 系统 地 检查 了 系统 ; 
当 正 式 测试 揭示 出 软件 风险 时 ,快速 测试 机 动 地 探索 相关 领域 ,以 确定 是 否 存 在 严重 的 问题 , 并 
为 后 续 的 正式 测试 提供 信息 。 


后 续 的 测试 周期 会 利用 先前 测试 所 产生 的 信息 。 以 “第 二 个 测试 周期 ”为 例 , 测试 人 员 分 析 
对 问题 报告 的 反馈 了解 团队 中 其 他 人 对 软件 行为 的 看 法 。 利 用 这 些 新 信息 , 他 可 以 确定 测试 的 
重点 。 他 还 会 参考 第 一 个 周期 的 测试 笔记 , 但 是 不 会 照 本 宣 科 地 重新 执行 一 遍 ， 而 是 利用 新 信息 
设计 新 的 测试 。 从 这 个 角度 来 看 ， 测 试 类 似 于 移动 的 军舰 向 另 一 稻 移 动 的 军舰 开火 。 开 火 的 军舰 
在 移动 是 因为 测试 人 员 对 被 测 软件 的 认识 在 不 断 地 增强 , 他 知道 哪些 测试 不 太 容 易 找 到 错误 , 哪 
些 测试 更 可 能 找到 问题 。 目 标 军 舰 在 移动 是 因为 程序 员 在 持续 提交 新 功能 和 修复 缺陷 , 导致 软件 
也 在 不 停 地 变化 。 因 此 ， 测 试 策略 也 需要 保持 动态 变化 ， 使 得 炮 口 一 直 有 瞄准 飞 驰 的 目标 。 


迭代 的 最 大 优点 是 能 够 快速 获得 测试 设计 的 反馈 ,从 而 逐步 完善 测试 设计 。 程 序 员 已 经 认识 
到 软件 开发 过 程 会 引入 大 量 的 错误 , 应 该 利用 快速 反馈 来 发 现 设计 中 的 错误 。 因 此 , 测试 驱动 开 
发 、 结 对 编程 、 持 续集 成 、 自 动 化 测试 等 搁 术 得 到 了 普遍 认可 和 应 用 。 测试 设计 与 软件 设计 相似 ， 
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第 1 章 软件 测试 基础 


都 是 高 智力 的 创造 性 工作 , 也 可 能 会 产生 错误 的 设计 。 测 试 人 员 也 需要 快速 获得 测试 设计 的 反馈 ， 
意识 地 利用 迭代 可 以 为 此 呐 定 良好 的 基础 。 


1.4 测试 人 员 的 工作 效率 取决 于 他 对 软件 和 项 目的 理解 ， 而 不 是 他 
掌握 的 测试 技术 


我 曾经 长 期 测试 一 个 网 络 应 用 。 当 我 离开 这 个 项 目 时 , 测试 经 理 安排 一 个 测试 员工 来 接替 我 。 
他 刚刚 入 职 ， 对 被 测 软 件 和 业务 领域 都 不 了 解 ， 在 工作 中 遇 到 了 许多 困难 。 在 我 加 入 新 团队 后 ， 
我 还 通过 电话 数 次 回答 了 他 的 问题 。 后 来 ,我 反思 了 当时 的 情况 。 作 为 一 个 测试 工程 师 ， 我 的 工 
作 效 率 明显 优 于 接替 我 的 同事 ， 主 要 原因 包括 以 下 几 点 。 


O 我 理解 产品 。 我 知道 它 的 业务 目标 ， 了 解 它 通过 什么 方法 去 实现 目标 。 因 此 ， 我 能 够 快 

速 地 制定 测试 方案 。 

口 我 理解 用 户 的 期 望 。 我 知道 哪些 功能 绝对 不 能 出 错 ， 需 要 仔细 测试 ， 也 知道 哪些 功能 
许 一 些 瑕 辛 ， 即 便 出 错 ， 也 可 以 在 下 一 个 版 本 (通常 在 3 个 月 之 后 发 布 ) 中 修复 。 因 此 ， 
我 能 够 更 好 地 分 配 测试 时 间 。 

O 我 理解 产品 的 架构 。 通 过 阅读 产品 源 代码 ， 我 知道 哪些 模块 容易 出 现 哪些 缺陷 。 因 此 ， 

我 可 以 针对 不 同 的 模块 采用 有 针对 性 的 测试 策略 。 

O 我 知晓 如 何 回避 浪费 时 间 却 没有 收益 的 任务 。 例 如 ， 我 曾经 尝试 用 自动 化 测试 用 例 去 测 
试用 户 界 面 ， 但 是 发 现 此 类 自动 化 测试 很 不 稳定 ， 需 要 很 高 的 维护 代价 ， 却 不 能 发 现 错 
误 。 于 是 ,我 只 为 Web 服 务 编写 自动 化 测试 用 例 ， 用 手工 测试 来 测试 用 户 界 面 。 

口 我 了 解 产 品 元 素 和 项 目 团队 。 当 出 现 缺陷 时 ， 我 知道 如 何 阅 读 系统 日 志 发 掘 蛛丝马迹 ; 当 

我 遇 到 困难 时 ,我 知道 向 哪 位 程序 员 或 测试 人 员 求助 。 因 此 , 我 可 以 深入 挖掘 并 快速 推进 。 

口 我 在 原先 的 团队 工作 了 很 长 的 时 间 ， 与 同事 建立 了 良好 的 关系 。 当 我 提出 一 些 可 测试 性 

的 建议 时 ， 比 较 容 易 得 到 程序 员 的 支持 。 


从 以 上 几 点 不 难看 出 , 我 能 够 更 有 效 地 测试 ,其 主要 原因 不 是 我 掌握 更 多 的 测试 技术 ， 而 是 
我 更 了 解 软件 产品 、 业 务 领域 和 项 目 环境 。 通 过 逐 点 分 析 ， 可 以 得 到 如 下 局 示 。 


口 产品 是 一 种 解决 方案 ， 如 果 没 有 解决 问题 ， 它 就 是 无 用 的 [Kaner12]。 测 试 人 员 需 要 了 解 

软件 产品 和 业务 领域 ， 才 能 设计 有 效 的 测试 。 

口 测试 是 一 种 信息 服务 ， 要 了 解 服务 对 象 的 需求 。 如 果 用 户 不 能 容忍 某 些 错误 ， 测 试 人 员 
就 需要 仔细 测试 相关 功能 ; 如 果 用 户 对 一 些 瑕 疲 并 不 在 意 ， 测 试 人 员 就 不 必 在 此 花费 过 
多 的 时 间 。 只 有 了 解 服务 对 象 的 优先 级 ， 才 能 更 好 地 设 定 测试 工作 的 优先 级 。 

O 不 同 的 模块 采用 不 同 的 技术 ， 拥 有 不 同 的 典型 错误 。 只 有 了 解 软 件 实现 ， 才 能 设计 差异 

化 且 有 针对 性 的 测试 用 例 。 

O 测试 设计 可 能 包含 错误 ,测试 人 员 需 要 从 错误 中 吸取 经 验 和 教训 ， 避 人 免 重 蹈 覆 辐 。 


1.5 小结 


口 当 测 试 工作 遇 到 困难 时 ， 测 试 人 员 需 要 知道 从 哪里 寻找 信息 。 了 解 被 测 产品 和 测试 工具 
能 够 提供 的 信息 ， 了 解 哪 位 同事 知道 更 多 内 幕 ， 会 节省 时 间 。 

口 “ 人 脉 ”有 时 候 会 极 大 地 提高 测试 人 员 的 工作 效率 。 测 试 人 员 需 要 与 程序 员 和 测试 同事 保 
持 良好 的 关系 。 达 成 协作 关系 的 关键 之 一 是 测试 人 员 能 够 为 同事 们 提供 高 质量 的 信息 服务 。 
O 在 职业 生涯 中 ,测试 人 员 总 是 会 遇 到 新 的 软件 、 项 目 和 团队 。 他 应 该 养 成 一 种 好 的 思维 
方法 和 测试 风格 ， 以 便 快 速 地 学 习 并 理解 产品 和 项 目 。 


实施 高 效 的 测试 需要 很 多 条 件 。 熟练 地 掌握 测试 技术 是 一 个 很 重要 的 因素 , 但 很 少 会 是 决定 
性 的 因素 。 只 有 充分 掌握 软件 产品 和 项 目 环境 ， 测 试 技术 才能 找到 大 放 光 彩 的 舞台 。 


+ 


1.5 小结 
本 章 介 绍 了 软件 测试 的 基本 价值 观 。 作 为 指导 原则 ， 它 们 将 贯穿 全 书 。 


口 软件 复杂 性 来 自 于 领域 、 设 计 、 技 术 、 开 发 过 程 等 多 个 方面 。 为 了 应 对 高 度 复 杂 且 持续 
变动 的 软件 ,测试 人 员 需 要 从 多 个 来 源 收集 信息 ， 并 在 项 目 全 程 收集 对 测试 设计 的 反馈 。 
口 软件 测试 的 基本 目标 是 发 现 软 件 错误 ， 并 了 予以 修正 。 

O 软件 测试 是 一 种 信息 服务 。 以 技术 调查 和 科学 实验 的 方式 实施 软件 测试 ， 能 够 提供 高 质 
量 的 服务 。 

无 论 测试 人 员 是 否 意 识 到 ， 软 件 测试 都 是 迭代 展开 的 。 有 意识 地 利用 软件 测试 的 迭代 性 ， 
可 以 更 好 地 测试 。 
口 高 效 的 软件 测试 要 求 测试 人 员 理 解 软 件 和 项 目的 方方面面 。 学 习 与 实践 要 伴随 测试 全 程 。 


口 


"Qs 


缺陷 报告 


在 许多 项 目 环境 中 , 缺陷 报告 是 测试 人 员 最 主要 的 工作 产 出 , 是 将 测试 人 员 和 项 目 团队 广泛 
联系 在 一 起 的 纽带 。 


口 程序 员 会 阅读 缺陷 报告 ， 以 了 解 缺 陷 的 症状 和 重 现 步 又。 好 的 缺陷 报告 能 帮助 他 快速 地 

定位 问题 ; 差 的 缺陷 报告 会 浪费 他 的 调试 时 间 。 

O 产品 经 理会 阅读 缺陷 报告 ， 以 了 解 缺 陷 的 症状 和 严重 性 。 好 的 缺陷 报告 准确 地 传递 了 用 
户 质量 的 信息 ， 帮 助 他 设 定 修复 优先 级 ; 差 的 缺陷 报告 会 误导 他 作出 错误 决定 ， 甚 至 将 
一 些 严 重 的 缺陷 标记 为 “不 予 修复 ”。 

口 在 一 些 团 队 ， 产 品 经 理 、 开 发 经 理 和 测试 经 理会 举行 缺陷 评审 会 议 ， 对 缺陷 是 否 修复 进 
行 “最 终 判 决 "。 好 的 缺陷 报告 会 提高 会 议 效率 ; 差 的 缺陷 报告 会 降低 会 议 效率 ， 甚 至 让 
评审 小 组 作出 错误 的 决策 。 

O 在 一 些 大 型 项 目 中 ,缺陷 报告 是 测试 小 组 以 外 的 人 了 解 测试 人 员工 作 的 主要 途径 。 他 们 
会 根据 缺陷 报告 的 质量 评价 测试 人 员 的 工作 能 力 和 职业 素养 。 

可 见 , 测试 人 员 应 该 认真 对 待 缺陷 报告 ,因为 它们 关乎 整个 团队 的 工作 效率 和 测试 人 员 的 个 

人 声誉 。 编 写 高 质量 的 缺陷 报告 是 测试 人 员 最 重要 的 基本 功 之 一 。 本 章 将 介绍 一 些 编写 和 处 理 缺 

陷 报告 的 方法 ， 帮 助 测试 人 员 更 有 效 地 与 项 目 团队 交流 。 


2.1 报告 缺陷 是 为 了 让 缺陷 得 到 修复 


报告 缺陷 的 首要 目标 是 “使 正确 的 缺陷 得 到 修复 ”[Kaner08a]。 所 谓 “ 正 确 的 缺陷 ”， 是 那些 
值得 修复 的 错误 、 局限 、 失 败 等 降低 软件 价值 的 问题 。 测试 人 员 面临 的 挑战 “对 软件 价值 的 影响 ” 
和 “是 否 值得 修复 ”都 是 主观 判断 , 不 同 的 人 基于 不 同 的 背景 和 立场 很 可 能 得 出 不 同 的 结论 。 六 
试 人 员 需 要 说 服 程序 员 和 缺陷 评审 小 组 , 使 他 们 相信 修复 当前 的 缺陷 是 正确 的 。 因为 测试 人 员 通 
常 不 负责 修复 缺陷 , 为 了 使 缺陷 得 到 修复 ,需要 提交 和 维护 高 质量 的 缺陷 报告 ,将 正确 的 信息 传 
递 给 团队 。 这 需要 测试 人 员 持续 地 努力 和 长 期 地 积累 。 在 此 过 程 中 ， 以 下 策略 会 有 所 帮助 。 


口 清楚 地 说 明 此 问题 对 用 户 价值 的 危害 。 
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2.1 报告 缺陷 是 为 了 让 缺陷 得 到 修复 


口 提供 尽 可 能 多 的 技术 信息 ， 方 便 程 序 员 调 试 。 
口 尽早 提交 缺陷 报告 。 
口 报告 发 现 的 所 有 缺陷 ， 即 便 有 些 缺 陷 难 以 重 现 。 


第 一 , 缺陷 报告 要 重点 说 明 该 缺陷 对 用 户 价值 的 损害 。 许 多 软件 项 目 都 进度 紧张 、 资 源 有 限 ， 
项 目 团队 修复 一 个 严重 的 缺陷 ， 可 能 需要 考虑 多 个 因素 。 例 如 : 修复 该 缺陷 可 能 需要 2 天 ， 而 实 
现 一 个 用 户 建议 的 新 功能 也 需要 2 天 ， 是 修复 缺陷 还 是 增加 功能 对 用 户 更 有 价值 ? 目前 ， 软 件 即 
将 发 布 , 修复 该 缺陷 会 不 会 引入 新 的 问题 ?为 了 修复 该 缺陷 而 推迟 发 布 是 否 值得 ? 这 些 问 题 的 核 
心 因素 是 该 缺陷 是 否 显著 地 降低 了 软件 对 用 户 的 价值 , 以 至 于 开发 人 员 与 测试 人 员 愿 意 占用 开发 
活动 的 时 间 、 冒 着 引入 更 多 缺陷 的 风险 来 修复 它 。 如 果 缺 陷 报告 没有 写 清楚 缺陷 的 影响 , 产品 经 
理 或 缺陷 评审 小 组 有 可 能 会 错误 地 认为 这 是 一 个 不 重要 的 问题 ， 并 将 它 标记 为 “不 子 修 复 ”。 


为 了 让 缺陷 评审 者 了 解 真实 的 情况 ,测试 人 员 需 要 从 多 个 角度 思考 如 何 有 效 地 传递 缺陷 信息 。 


O 测试 人 员 在 提交 缺陷 时 最 好 使 用 自制 的 缺陷 模板 。 缺 陷 模板 为 一 些 常用 缺陷 字段 提供 了 
默认 值 ， 减 少 了 输入 的 工作 量 。 更 重要 的 是 ， 缺 陷 模板 可 以 提供 缺陷 报告 的 结构 ， 提 醒 
测试 人 员 输 入 必要 的 内 容 。 例 如 ， 缺 陷 模板 可 以 包含 “用 户 影响 ”一 节 ， 提 醒 测 试 人 员 
输入 缺陷 对 于 用 户 价值 的 危害 。 如 果 缺 陷 对 用 户 的 影响 非常 明显 ， 测 试 人 员 可 以 忽略 该 
节 ， 但 这 是 测试 人 员 思 考 后 的 决定 ， 而 不 是 由 于 忙碌 忘记 填写 。 

要 为 使 用 软件 的 人 “仗义 执 言 ”。 测 试 人 员 很 可 能 是 第 一 个 完整 使 用 软件 的 人 ， 能 够 发 现 
一 些 用 户 在 日 常 使 用 中 遇 到 的 问题 。 某 些 问 题 不 是 严格 意义 上 的 计算 错误 ( 例如 某 个 常 
用 按钮 没有 键盘 快捷 键 )， 某 些 问题 来 自 于 开发 技术 的 限制 (例如 32 位 程序 只 能 利用 2GB 
的 内 存 , 一 些 需 要 大 量 内 存 的 操作 可 能 因为 该 限制 而 失败 )， 某 些 问题 在 以 前 的 版 本 中 也 
存在 。 无 论 如 何 ， 这 些 问题 使 用 户 受 到 挫折 ， 降 低 了 软件 对 他 们 的 价值 。 测 试 人 员 需 要 
报告 这 些 问题 ， 并 阐述 它们 给 用 户 带 来 的 困扰 。 

要 “放大 格局 ”软件 的 “关系 人 ”还 包括 程序 员 、 测 试 人 员 、 运 维 人 员 、 销 售 人 员 等 。 
如 果 软 件 存在 一 些 问 题 或 局 限 ， 使 得 他 们 的 生活 变 得 困难 ,测试 人 员 也 应 该 提交 缺陷 报 
告 。 例 如 ， 如 果 测 试 人 员 发 现 被 测 的 网 络 服务 没有 记录 足够 的 日 志 ， 以 致 整个 业务 流程 
类 似 于 一 个 黑 盒 ， 测 试 检查 变 得 很 困难 。 他 应 该 报告 该 问题 ， 建 议 服 务 日 志 还 需要 记录 
哪些 内 容 ， 并 解释 理由 。 测 试 人 员 可 以 指出 ， 从 长 远 看 更 多 的 日 志 不 但 能 够 帮助 测试 人 
员 更 快 地 发 现 错误 ， 而 且 有 利于 运 维 人 员 发 现在 线 系统 的 问题 ， 也 有 利于 程序 员 根据 日 
志 定 位 问题 ， 从 而 提高 整个 团队 的 效率 。 

为 了 提供 有 说 服 力 的 证 据 ， 测 试 人 员 可 能 需要 做 一 些 “ 研 究 ”。 例 如 ， 测 试 人 员 发 现 一 个 
杀毒 软件 兼容 性 问题 一 一 在 被 测 软件 执行 特定 操作 时 ， 茶 个 杀毒 软件 会 报告 发 现 病毒 。 
为 了 评估 该 问题 的 严重 性 ， 他 需要 分 析 该 操作 的 重要 性 和 使 用 频率 ， 可 能 的 手段 包括 阅 
读 规格 说 明 、 查 询 用 户 日 志 、 询 问 产品 经 理 等 。 此 外 ， 他 还 可 以 通过 搜索 引擎 查询 该 杀 
毒 软件 的 市 场 份 额 ， 估 算 有 多 少 用 户 可 能 遇 到 该 问题 。 


口 


口 


口 
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O 测试 人 员 还 可 以 寻找 “专家 ”支持 。 所 谓 专家 是 受到 整个 项 目 团 队 认 可 和 信任 的 人 ,他 
的 意见 会 有 更 大 的 影响 力 。 他 可 能 是 一 位 资深 员工 ,经历 了 多 次 产品 发 布 ; 也 可 能 是 一 
位 领域 专家 ， 对 业务 领域 有 深刻 的 理解 ; 还 可 能 是 一 位 用 户 代表 ， 能 够 提供 真实 的 用 户 
有 反馈。 测试 人 员 可 以 与 他 讨论 所 发 现 的 问题 ， 获 得 他 的 支持 。 如 果 他 可 以 在 缺陷 报告 中 
写 下 有 份量 的 评论 ， 或 在 缺陷 评审 会 议 上 支持 修复 问题 ， 该 缺陷 将 很 可 能 得 到 修复 。 


第 二 , 缺陷 报告 应 该 提供 尽 可 能 多 的 信息 ,以便 程 序 员 修复 缺陷 。 缺陷 不 被 修复 或 没有 被 及 
时 修复 的 常见 原因 是 程序 员 没 能 重 现 该 缺陷 。 对 于 难以 重 现 的 问题 , 测试 人 员 应 该 收集 并 报告 尽 
可 能 多 的 信息 ， 例 如 有 可 能 重 现 缺陷 的 操作 步 又、 屏幕 截图 、 视 频 录 像 、 所 使 用 的 数据 文件 、 软 
件 的 内 存 转 储 、 追 踪 日 志 、 网 络 通信 记录 等 。 软 件 测试 是 技术 调查 ， 缺 陷 报告 作为 调查 结果 ， 应 
该 包含 业务 层面 的 信息 ,让 缺陷 评审 者 了 解 软 件 价值 的 损失 , 还 应 该 包含 技术 层面 的 信息 ， 帮 助 
程序 员 更 快 地 修复 问题 。 


第 三 ,缺陷 越 早 被 报告 , 越 有 可 能 被 修复 。 当 项 目 临近 发 布 时 , 项 目 团队 会 对 代码 变更 采取 
FRIAS BE, 因为 最 后 时 刻 的 代码 修改 可 能 会 引入 一 些 新 的 缺陷 , 而 短 时 间 的 测试 不 能 发 现 这 些 
缺陷 。 因 此 ， 缺 陷 评 审 会 议 常 常 因为 风险 较 高 而 拒绝 修复 一 些 缺 陷 。 这 样 的 情况 我 遇 到 过 多 次 ， 
如 果 能 早 一 些 提交 该 缺陷 ,哪怕 是 早 一 个 星期 ， 它 就 能 得 到 修复 。 这 给 我 两 个 启示 : 一 是 要 第 一 
时 间 提 交 发 现 的 缺陷 ; 二 是 在 规划 测试 时 ， 要 使 测试 策略 能 够 尽早 地 发 现 严 重 的 缺陷 。 


第 四 , 为 了 提供 完整 的 信息 , 测试 人 员 应 该 报告 发 现 的 所 有 问题 。 这 并 不 意味 着 提交 重复 的 
信息 。 在 提交 缺陷 报告 之 前 , 测试 人 员 可 以 查询 一 下 缺陷 管理 系统 ， 了 解 被 测 功能 有 哪些 活跃 的 
缺陷 。 如 果 其 他 测试 人 员 已 经 提交 了 这 个 缺陷 ,那么 测试 人 员 可 以 跳 过 报告 ,继续 测试 。 我 建议 
测试 人 员 在 查询 相似 缺陷 上 不 必 花 费 太 多 的 时 间 , 只 要 避免 明显 的 重复 提交 即 可 , 因为 重复 提交 
的 开销 远 小 于 遗漏 报告 的 代价 。 而 且 , 程序 员 通 常 能 够 快速 地 链接 根源 相同 的 两 份 缺陷 报告 ,将 
它们 “并 案 ” 处 理 。 


有 时 ,软件 的 表现 出 乎 测试 人 员 的 预料 , 但 是 他 并 不 能 确定 这 一 定 是 个 缺陷 。 这 说 明 测试 人 
员 对 软件 的 设计 和 实现 还 有 不 了 解 的 地 方 ,他 应 该 将 此 疑惑 视 为 一 个 学 习 的 机 会 ,通过 阅读 文档 、 
咨询 同事 等 方法 来 获得 解答 。 然 而 ,在 测试 时 间 紧 张 的 情况 下 ,， 次 入 调查 是 不 适宜 的 。 如 果 不 能 
立即 获得 解答 ， 测 试 人 员 应 该 提交 缺陷 报告 ， 让 产品 经 理 或 缺陷 评审 会 议 来 回 管 。 


在 提交 缺陷 报告 时 , 测试 人 员 面 临 的 最 大 挑战 是 那些 难以 重 现 的 缺陷 。 大 多 数 测 试 人 员 都 有 
这 样 的 经 历 : 测试 执行 时 ,无意 中 发 现 一 个 缺陷 ,于 是 再 测试 一 遍 , 来 确认 重 现 步骤 ,这 时 该 缺 
陷 却 “神奇 地 ”消失 了 。 这 说 明 某 些 未 知 的 因素 在 起 作用 ,它们 改变 了 软件 的 行为 ， 使 得 缺陷 不 
能 重 现 。 这 时 ,测试 人 员 的 任务 是 用 各 种 手段 去 发 现 这些 因 素 ， 让 缺陷 重 现 。 不 幸 的 是 ， 重 现 缺 
陷 的 努力 常常 会 失败 。 面 对 这 种 情况 ,测试 人 员 仍 旧 应 该 提交 缺陷 报告 。 他 应 该 在 报告 中 坦承 该 
缺陷 不 能 稳定 重 现 ,然后 报告 他 知道 的 所 有 信息 ， 例 如 为 了 重 现 缺 陷 做 了 哪些 实验 、 使 用 了 哪些 
实验 数据 、 实 验 结果 如 何 、 对 于 缺陷 根源 的 猜测 等 。 
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测试 是 一 个 迭代 的 过 程 ， 缺 陷 报 告 是 其 中 的 一 环 。 它 既是 一 段 测试 的 结束 ,也 是 一 段 测试 的 
开始 。 测 试 人 员 应 该 让 缺陷 报告 和 测试 执行 相互 支持 ,让 缺陷 报告 来 推动 更 深入 的 测试 ,让 高 质 
量 的 测试 产生 高 质量 的 缺陷 报告 。 


2.2.1 分 配 测 试 时 间 
在 提交 缺陷 报告 时 ， 测 试 人 员 常常 需要 考虑 如 何 使 用 接 下 来 的 测试 时 间 。 


O 是 继续 调查 当前 缺陷 ， 以 提供 更 简化 的 重 现 步 又 ， 还 是 开始 新 的 测试 ? 该 问题 需要 测试 
人 员 平 衡 调查 时 间 和 测试 时 间 。 用 更 多 时 间 去 调查 可 能 提供 更 清晰 的 缺陷 报告 ， 从 而 简 
化 缺陷 评审 者 和 修复 者 的 工作 ; 用 更 多 时 间 去 测试 可 能 更 早 地 发 现 其 他 缺陷 。 

口 是 继续 测试 该 功能 (或 情景 )， 还 是 测试 其 他 功能 (或 情景 ) ? 该 问题 需要 测试 人 员 平衡 
所 提供 信息 的 深度 和 广度 。 继 续 测试 可 能 提供 更 深层 次 的 信息 ， 转 移 测试 可 能 提供 更 广 
泛 的 信息 。 


这 两 个 问题 的 本 质 是 测试 时 间 是 重要 但 有 限 的 资源 , 测试 人 员 需 要 合理 地 分 配 该 资源 , 以 提 
供 “ 足 够 好 ”的 信息 。“ 足 够 好 ”是 指 “ 有 足够 的 信息 可 供 客 户 作 出 好 的 决策 ”[Kaner01]。 测 试 
服务 拥有 许多 客户 ,他 们 对 “足够 的 信息 ”有 不 同 的 期 望 。 例 如 ,程序 员 和 希望 缺陷 报告 尽 可 能 详 
细 , 测试 经 理 则 希望 能 够 更 早 地 测试 软件 的 方方面面 。 测试 人 员 需 要 综合 考虑 各 方面 因素 ,作出 
合理 的 判断 。 


由 于 软件 项 目 千 差 万 别 , 并 不 存在 普遍 适用 的 分 配 测试 时 间 的 指导 方案 , 但 存在 一 些 启发 式 
方法 来 简化 问题 。 测 试 人 员 可 以 考虑 使 用 “时 间 盒 ”来 管理 自己 的 时 间 。 


例如 , 测试 人 员 用 一 个 大 型 的 数据 文件 发 现 了 一 个 软件 错误 。 他 认为 删 去 文件 中 的 一 些 无 关 
数据 ， 也 能 重 现 该 错误 。 精 简 的 数据 文件 会 使 缺陷 报告 更 直接 明了 ， 但 是 需要 投入 时 间 。 这 时 ， 
他 可 以 分 配 一 个 10 分 钟 的 时 间 盒 ,专门 用 于 简化 数据 文件 。 在 这 个 时 间 盒 内 ,他 可 能 获得 了 能 够 
重 现 错误 的 最 小 文件 ,也 可 能 没有 进展 。 无 论 如 何在 时 间 耗 尽 后 ， 他 停止 调查 ,将 那 时 的 数据 
文件 作为 缺陷 报告 的 附件 提交 。 

原则 上 ,测试 人 员 应 该 提供 “无 宛 余 信息 ”的 缺陷 报告 。 但 是 ,在 紧张 的 测试 进度 下 ， 测 试 
人 员 只 能 用 有 限 的 时 间 去 打磨 测试 信息 。 一 般 情 况 下 ，10 分 钟 的 时 间 盒 能 让 测试 人 员 付出 足够 的 
努力 ,获得 恰当 的 进展 。 花 费 更 多 的 时 间 很 可 能 降低 了 畴 队 效 率 , 因为 了 解 实现 细节 的 程序 员 更 


适合 调查 复杂 的 错误 。 


当 项 目 进度 不 紧张 时 ， 测 试 人 员 可 以 考虑 为 某 个 有 趣 的 缺陷 分 配 一 个 长 度 为 30~60 分 钟 的 时 
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间 盒 ， 来 彻底 研究 缺陷 的 来 龙 去 脉 。 在 这 段 时 间 内 ， 他 进行 “刻意 的 练习 "， 通 过 调查 该 缺陷 来 
学 习 产 品 的 细节 、 测 试 工具 的 功能 、 调 试 技 术 的 应 用 等 。 该 时 间 盒 的 主要 目的 是 通过 一 个 真实 的 
案例 , 来 学 习 知 识 并 练习 技能 。 经 过 几 次 这 样 的 练习 ,他 可 以 在 10 分 钟 的 时 间 盒 内 提供 更 多 的 信 
Bo BME, IER a EREE ) 是 为 了 提供 更 好 的 缺陷 报告 ， 长 时 间 盒 是 为 了 提高 测试 人 
员 的 知识 与 技能 。 


关于 是 否 继续 测试 的 问题 , 测试 人 员 也 可 以 采用 时 间 盒 来 试探 。 他 可 以 分 配 一 个 20 分 钟 的 时 
间 盒 对 当前 功能 实施 后 续 测 试 。 当 时 间 耗 尽 ， 他 可 以 问 自 己 如 下 问题 。 


O 这 段 时 间 的 测试 发 现 新 信息 了 吗 ? 

O 这 些 信息 是 否 暗 示 还 存在 严重 的 缺陷 ? 

口 继续 测试 的 付出 能 获得 好 的 回报 吗 ? 

口 为 了 尽快 发 现 软件 的 严重 错误 ， 我 是 否 应 该 测试 其 他 尚未 测试 的 功能 ? 


通过 思考 这 些 问题 , 他 可 以 更 好 地 安排 测试 时 间 。 其 可 能 的 选择 包括 再 安排 20 分 钟 的 时 间 盒 
来 继续 测试 ， 或 开始 测试 其 他 功能 。 

时 间 盒 是 一 种 常用 的 时 间 限 制 启发 式 方法 [Weinberg08]。 它 简单 明了 ， 又 不 失 弹 性 。 它 使 当 
前 的 任务 获得 稳定 的 时 间 ， 又 确保 其 他 有 价值 的 任务 不 会 被 长 时 间 延 后 。 


2.2.2 ”通过 技术 调查 发 现 更 多 的 信息 


缺陷 提供 了 被 测 软件 的 新 信息 。 利 用 新 信息 , 测试 人 员 可 以 对 相关 领域 进行 测试 ， 从 而 发 气 
出 更 多 的 缺陷 。 做 后 续 测试 有 两 个 好 处 : 一 是 可 能 会 发 现 一 些 额外 的 信息 , 使 原先 的 缺陷 报告 更 
完整 ;二 是 可 能 会 发 现 一 些 相似 或 相关 的 缺陷 ,使 测试 人 员 对 软件 的 整体 质量 更 了 解 。 


后 续 测 试 的 一 个 切入 点 是 评估 当前 缺陷 的 风险 。 评 估 风 险要 考察 两 个 因素 : 风险 暴露 的 可 能 
性 和 风险 暴露 的 损失 ( 更 多 讨论 请 参考 8.3 节 )。 


口 考察 “风险 暴露 的 可 能 性 ”是 要 评估 风险 转变 为 实际 失败 的 概率 。 对 于 软件 缺陷 ， 测 试 
人 员 需 要 佑 计 用 户 遇 到 此 缺陷 的 可 能 性 ， 这 通常 要 求 测试 人 员 发 现 暴 露 此 缺陷 的 用 户 情 
景 。 对 于 复杂 的 软件 ， 这 样 的 用 户 情 景 可 能 有 多 个 。 测 试 人 员 的 目标 是 找到 最 容易 暴露 
缺陷 的 用 户 情景 。 
口 考察 “风险 暴露 的 损失 ”是 要 估计 失败 所 造成 的 损失 。 对 于 软件 缺陷 测试 人 员 需 要 估 
计 缺 陷 其 露 所 带 来 的 最 大 用 户 损 失 。 
为 了 发 现 这 些 信息 , 测试 人 员 需 要 设计 多 种 测试 ,以 考察 更 多 的 情况 。 例 如 ， 某 位 测试 人 员 
测试 Microsoft PowerPoint, 该 软件 能 够 导入 多 种 格式 的 图 片 , 将 它们 放 在 页 面 上 , 并 提供 一 组 “图 
片 特 效 ”( 如 和 柔 化 边缘 、 添 加 阴影 、 添 加 倒影 、 调 节 亮 度 等 ) 去 美化 图 片 。 测 试 人 员 在 测试 打印 
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功能 时 ， 偶 然 发 现 页 面 上 的 一 个 图 片 在 打印 结果 中 丢失 了 。 这 是 一 个 严重 的 缺陷 , 测试 人 员 决 定 
再 进行 一 些 测试 ， 来 调查 问题 的 普遍 性 和 严重 性 。 


口 他 用 不 同型 号 的 打印 机 来 打印 有 问题 的 文档 ,来 检查 缺陷 是 否 与 打印 机 人 硬件 或 驱动 相关 。 

口 有 些 软件 可 以 在 操作 系统 中 注册 “虚拟 打印 机 ”， 将 文档 发 送 到 该 打印 机 能 够 生成 特定 格 
式 的 文档 ( 通常 是 PDF 文 档 ) 他 将 有 问题 的 文档 发 送 给 “虚拟 打印 机 ”， 并 检查 生成 的 文 
件 。 如 果 缺 陷 重 现 ， 说 明 错 误 与 打印 机 类 型 和 驱动 无 关 。 

口 PowerPoint 提 供 了 二 次 开发 功能 ， 人 允许 第 三 方 开发 者 调用 打印 API ( 应 用 程序 编程 接口 ) 

来 打印 文档 。 他 会 调用 该 API， 以 检查 错误 是 否 影 响 到 了 第 三 方 开 发 者 。 

口 他 会 删 去 文档 中 的 一 些 文字 和 图 片 ， 再 检查 丢失 的 图 片 是 否 能 打印 。 有 时 打印 错误 是 其 

他 可 打印 对 象 引 起 的 ， 丢 失 的 图 片 不 一 定 是 问题 的 根源 。 

O 他 会 替换 不 能 正确 打印 的 图 片 。 如 果 该 图 片 是 BMP 格式 ， 他 会 将 其 替换 为 其 他 BMP 格式 
的 图 片 ， 再 添加 一 些 PNG 格 式 的 图 片 ， 然 后 打印 。 通 过 测试 ， 他 就 能 评估 问题 的 根源 是 
特殊 的 图 片 (如 果 其 他 BMP 格式 的 图 片 可 以 正确 打印 )， 还 是 特定 的 图 片 格 式 ( 如 果 BMP 
格式 的 图 片 都 不 能 打印 ， 但 是 PNG 格 式 的 图 片 可 以 打印 )。 

口 他 会 检查 图 片 是 否 被 施加 了 一 些 “ 图 片 特 效 "。 如 果 有 特效 ， 他 会 逐一 去 除 “ 图 片 特 效 ” 

并 打印 ， 以 检查 罪魁 祸首 是 否 为 特定 的 “图 片 特 效 ”。 

口 如 果 发 现 “ 图 片 特效 ”是 打印 错误 的 原因 之 一 ,测试 人 员 会 联想 到 “艺术 字 ” 也 有 相似 
的 “文字 特效 ”( 如 柔 化 边缘 、 添 加 阴影 、 添 加 倒影 等 )。 他 会 在 文档 中 增加 一 些 “ 艺 术 
字 ” 和 相应 的 “文字 特效 ”"， 并 测试 它们 能 否 正确 打印 。 

O 他 回忆 发 现 缺陷 的 过 程 ， 想 起 在 打印 之 前 ， 他 对 文档 进行 了 许多 操作 。 于 是 ， 他 将 文档 
复制 到 另 一 台 测试 机 ， 启 动 被 测 的 排版 软件 ， 再 次 打印 该 文档 。 通 过 该 测试 ， 他 可 以 判 
断 打 印 错误 是 否 与 排版 软件 的 状态 有 关 。 注 意 ， 他 并 没有 关闭 最 初 发 现 错误 的 软件 ， 
为 该 进程 可 能 蕴含 重要 的 错误 信息 。 

口 PowerPoint 还 可 以 生成 PDF 文件 。 考 虑 到 生成 PDF 的 代码 与 打印 代码 共享 了 一 些 代 码 ， 测 

试 人 员 会 使 用 有 问题 的 文档 来 生成 PDF 文件 。 

O 在 任务 管理 器 中 ， 测 试 人 员 发 现 软件 在 打印 时 会 申请 许多 内 存 。 是 不 是 因为 内 存 管 理 遇 

到 错误 ， 而 不 能 正确 打印 呢 ? 测试 人 员 会 切换 到 另 一 台 内 存 更 小 的 机 器 上 ， 以 检查 在 内 

存 受 限 的 情况 下 打印 会 遇 到 什么 问题 。 通 常 ， 测 试 人 员 会 准备 两 台 ( 或 多 台 ) 配置 差异 

较 大 的 测试 机 (如 不 同 的 CPU、 内 存 、 显 卡 、 操 作 系 统 等 )， 能 够 快速 发 现 一 些 软 硬件 配 

置 导 致 的 问题 。 


有 时 后 续 测 试 并 不 需要 履 盖 以 上 所 有 变化 , 但 是 其 些 严重 的 缺陷 可 能 要 求 更 广泛 的 测试 。 为 
了 启发 思路 ， 测试 人 员 可 以 参考 James Bach 提 出 的 7 大 产品 元 素 ， 从 而 多 角度 地 思考 测试 覆盖 
[Bach12]。 


O 结构 : 软件 所 拥有 的 组 成 元 素 。 在 文件 级 别 ， 组 成 元 素 是 构成 软件 的 各 种 文件 ; 在 代 
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码 级 别 ， 组 成 元 素 包 括 语 句 、 函 数 、 类 等 。 从 结构 角度 考虑 测试 覆盖 ,测试 人 员 需 要 
用 测试 去 覆盖 更 多 的 结构 元 素 。 在 上 例 中 ,测试 人 员 所 做 的 后 续 测试 大 多 提高 了 结构 
M io 

口 功能 : 软件 所 拥有 的 功能 。 为 了 获得 更 多 的 信息 ， 测 试 人 员 需 要 测试 相关 的 功能 ， 并 确 
保 履 盖 了 每 个 功能 的 相关 细节 。 在 上 例 中 , 测试 人 员 测试 了 相关 功能 “生成 PDF 文件 ”和 
“文字 特效 ”， 从 而 检查 了 缺陷 的 影响 范围 。 

口 数据 : 软件 所 使 用 的 数据 。 由 于 程序 能 够 接纳 、 处 理 、 输 出 的 数据 是 无 穷尽 的 ,测试 人 
员 需 要 将 数据 分 类 ， 并 确保 测试 了 每 个 分 类 的 典型 案例 。 在 上 例 中 , 测试 人 员 用 多 种 方 
式 提高 了 数据 覆盖 : 测试 新 的 BMP 文 件 、 测试 PNG 文 件 、 测试 艺术 字 、 测试 “图 片 特效 ” 
产生 新 的 图 片 对 象 、 测 试 “文字 特效 ”产生 新 的 文字 对 象 、 测 试 简化 后 的 文档 等 。 

口 接口 : 软件 所 提供 的 操作 界面 ， 如 用 户 界面 、 系 统 界面 、API、 编 程 平台 的 SDK、 数 据 导 
入 和 导出 功能 等 。 在 上 例 中 , 测试 人 员 和 覆盖 了 软件 提供 的 API， 还 通过 导入 更 多 的 图 片 覆 
盖 了 图 片 导 入 功能 。 

O FE: 软件 所 依赖 的 软 硬 件 环 境 ， 这 包括 硬件 平台 、 网 络 环 境 、 操 作 系 统 、 软 件 依赖 
的 其 他 软件 和 网 络 服务 等 。 在 上 例 中 ,测试 人 员 用 新 的 打印 机 和 新 的 测试 机 提高 了 平台 
Mio 

O 操作 : 软件 可 能 的 使 用 方式 。 测 试 人 员 将 功能 组 合成 流程 ， 用 不 同 的 顺序 调用 功能 ， 以 
发 掘 用 户 操作 时 可 能 遇 到 的 问题 。 在 上 例 中 ， 测 试 人 员 引 入 了 一 些 新 的 操作 流程 : 增删 
图 片 和 文字 后 再 打印 、 启 动 新 的 被 测 进程 后 再 打印 。 

口 时 间 : 软件 与 时 间 相 关 的 元 素 。 许 多 错误 与 时 间或 时 序 有 关 ， 例 如 多 线程 死 锁 、 多 线程 
竞 态 条 件 、 客 户 端 与 服务 端 时 间 不 同步 引发 的 冲突 等 。 在 并 发 编程 和 网 络 编程 日 趋 重要 
的 今天 ， 这 些 问 题 需要 引起 测试 人 员 的 重视 。 上 例 的 缺陷 与 时 间 没 有 明显 的 关系 ， 所 以 
没有 专门 的 后 续 测 试 ， 不 过 一 些 测试 用 例 无 形 中 提高 了 时 间 有 覆盖。 例如 ， 用 新 进程 打开 
文档 后 直接 打印 和 长 时 间 编 辑 文档 后 再 打印 ， 是 两 种 不 同 的 操作 序列 ， 它 们 可 能 导致 软 
件 用 不 同 的 方式 去 处 理 图 片 缓存 ， 进 而 导致 不 同 的 行为 。 


测试 覆盖 并 非 唯一 的 测试 切入 点 , 测试 人 员 还 可 以 利用 漫游 测试 ( 参见 5.4 节 )、 基 于 典型 缺 
快速 测试 〈《 参 见 5.5 节 ) 等 方法 来 测试 产品 。 其 目的 是 通过 多 样 化 的 测试 来 获取 更 多 信息 ， 
更 好 地 评估 缺陷 的 风险 。 如 果 打 印 丢 失 只 出 现在 某 些 图 片 和 某 个 特效 的 组 合 上 , 那么 问题 的 
性 较 低 ， 但 严重 性 较 高 〈 因为 缺陷 导致 用 户 数据 丢失 )。 如 果 打 印 丢 失 出 现在 所 有 的 BMP 网 
， 或 相似 的 情况 也 出 现在 文字 特效 上 ， 或 生成 的 PDF 文件 也 丢失 图 片 ， 那 么 问题 的 普遍 性 和 


性 都 较 高 。 


通过 测试 , 测试 人 员 可 能 发 现 了 新 的 缺陷 ,可 能 发 现 了 原 缺 陷 的 新 线索 , 也 可 能 没有 太 多 收 


Bo 无 论 如 何 , 他 都 可 以 在 缺陷 报告 中 记录 做 了 什么 和 得 到 了 什么 结果 ,这些 都 为 缺陷 的 评审 和 


修复 


提供 了 有 力 的 支持 。 
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2.2.3 ”处 理 难以 重 现 的 缺陷 


难以 重 现 的 缺陷 是 测试 人 员 最 常 遇 到 的 工作 挑战 之 一 。 以 悲观 的 角度 来 看 ,难以 重 现 的 缺陷 
意味 着 软件 的 行为 受到 未 知 因素 的 影响 ， 搞 清楚 这 些 因素 即便 不 是 “不 可 能 的 任务 "， 也 需要 大 
量 的 时 间 。 以 乐观 的 角度 来 看 ， 它 既然 出 现 过 ， 就 有 可 能 重 现 ; 即便 不 能 修复 , 项 目 团 队 也 知晓 
它 的 症状 和 风险 。 很 多 时 候 ， 重 现 一 个 缺陷 确实 需要 一 些 运 气 , 但 是 测试 人 员 不 能 单纯 地 依赖 运 
气 ， 他 需要 从 多 个 方面 努力 应 对 挑战 。 


第 一 ， 测 试 人 员 需 要 以 正确 的 态度 面 对 缺 陷 。 测 试 人 员 的 字典 中 没有 “不 能 重 现 的 缺陷 ”， 
他 会 说 这 个 “间歇 性 缺陷 ”很 难 重 现 ,我 尚未 掌握 稳定 重 现 它 的 所 有 因素 。 这 种 想法 使 测试 人 员 
能 够 以 积极 的 态度 来 面 对 困 难 。 具 体 而 言 ， 他 应 该 具有 如 下 信念 。 


口 缺陷 是 可 以 重 现 的 。 

口 目前 ， 我 已 经 掌握 了 重 现 该 缺陷 的 部 分 因素 ， 利 用 它们 尚 不 能 重 现 该 缺陷 ， 或 只 能 以 较 
低 的 概率 重 现 该 缺陷 。 

O 我 的 任务 是 发 现 更 多 的 因素 ， 以 稳定 地 重 现 该 缺陷 ,或 以 更 高 的 概率 重 现 该 缺陷 。 


第 二 , 在 测试 过 程 中 , 测试 人 员 应 该 为 潜在 的 缺陷 做 好 准备 ， 当 一 个 缺陷 暴露 时 ， 他 可 以 收 
集 尽 可 能 多 的 信息 。 在 我 的 经 验 中 ， 有 些 缺 陷 之 所 以 没有 重 现 ,是 因为 我 在 第 一 次 发 现时 没有 记 
录 足 够 的 信息 。 原 以 为 我 能 通过 重 现 去 记录 更 多 的 信息 ， 却 发 现 该 缺陷 “神秘 地 ”消失 了 。 无 奈 
之 下 , 我 只 好 提交 一 份 信息 较 少 的 缺陷 报告 。 因 为 缺少 线索 ,， 接 到 报告 的 程序 员 也 没有 重 现 该 缺 
陷 。 最 后 ， 缺 陷 被 解决 为 “没有 重 现 ”。 


在 吸取 了 教训 之 后 ， 我 会 在 测试 之 前 和 测试 过 程 中 做 以 下 准备 工作 。 


O 在 测试 机 上 安装 调试 器 Windbg， 并 将 它 设 为 默认 的 事后 调试 器 。 当 被 测试 软件 崩溃 时 ， 
Windows 将 启动 Windbg 来 调试 该 崩溃 ?。 

O 在 测试 机 上 安装 Web 调 试 代理 Fiddler”。 如 果 软 件 会 用 HTTP 协 议 与 其 他 计算 机 通信 , 我 会 
在 测试 之 前 打开 Fiddler， 让 它 监控 并 记录 软件 的 HTTP 请 求 与 响应 。 
口 在 测试 机 上 安装 Process Explorer”。 在 测试 之 前 启动 Process Explorer， 让 它 监视 软件 所 使 
用 的 资源 ， 重 点 关注 CPU 、 内 存 、 句 柄 等 关键 资源 的 使 用 情况 。 

口 在 测试 机 上 安装 一 款 性 能 分 析 工 具 "。 如 果 软 件 遇 到 性 能 问题 ， 我 会 用 它 获取 软件 的 性 能 
跟踪 数据 。 


D 关于 Windbg 的 使 用 ， 可 以 参考 能 力 所 著 《Windows 用 户 态 程序 高 效 排 错 》， 全 文 下 载 : http:/Avww.cnblogs.com/ 
lixiong/archive/2010/02/11/1667516.html, 

@® if 5uhttp://www.fiddler2.com/fiddler2/. 

®© +f Whttp://technet.microsoft.com/en-us/sysinternals/bb896653.aspx. 

@ 在 Windows 8 E, Windows Performance Toolkit 是 一 款 强大 的 性 能 分 析 工 具 ， 它 被 包含 在 Windows 8 SDK 中 ， 下 载 
地 址 : http://msdn.microsoft.com/en-us/windows/desktop/hh852363.aspx. 
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不 难看 出 ,这 些 监 控 工 具 都 属于 调试 诊断 工具 。 因 为 它们 依赖 于 一 些 底层 的 高 级 技术 ,所 以 
学 习 和 使 用 难度 较 高 。 不 过 , 掌握 它们 的 基本 功能 就 可 以 采集 到 许多 有 价值 的 信息 。 例如 ,内存 
转 储 文件 记录 了 一 个 进程 在 某 个 时 刻 的 内 存 状态 ， 对 于 某 些 故障 ( 例如 进程 崩 演 ) 的 诊断 很 有 帮 
助 。 在 提交 缺陷 报告 时 ， 测 试 人 员 可 以 考虑 将 内 存 转 储 文件 作为 报告 的 附件 ， 以 便 程 序 员 调试 。 


生成 内 存 转 储 文件 有 多 种 方法 ， 本 节 介 绍 3 种 最 常用 的 方法 。 


图 2-1 展 示 了 如 何 利用 任务 管理 需 来 生成 指定 进程 的 内 存 转 储 文件 。 测 试 人 员 选 中 目标 进程 
后 ， 右 击 鼠 标 ， 在 弹出 菜单 中 点 击 “ 创 建 转 储 文件 ”， 就 可 以 获得 该 进程 的 内 存 转 储 文件 。 该 方 
法 只 使 用 Windows 操 作 系 统 自 带 的 工具 ， 适 用 于 所 有 安装 Windows 系 统 的 测试 机 。 
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图 2-1 使 用 任务 管理 器 生成 内 存 转 储 文件 


图 2-2 展 示 了 如 何 利 用 Process Exploerer 来 生成 指定 进程 的 内 存 转 储 文件 。 测 试 人 员 选 中 目标 
进程 后 , 右 击 鼠标 ,在 弹出 菜单 中 点 击 “ 生 成 转 储 ”( Create Dump ), 再 选择 “生成 完整 转 储 ”( Create 


Full Dump ) 就 可 以 获得 该 进程 的 内 存 转 储 文件 。 该 方法 允许 测试 人 员 提 供 


和 文件 名 ， 在 实际 测试 中 较 第 一 种 方法 更 为 方便 。 
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图 2-2 ”使 用 Process Explorer 生 成 内 存 转 储 文件 


转 储 文件 的 保存 路 径 


2.2 高 质量 的 缺陷 报告 来 自 于 高 质量 的 测试 


图 2-3 展 示 了 一 个 注册 表 文 件 crash_auto_dump.reg， 双 击 它 可 以 将 其 记录 的 设置 导入 Windows 
系统 的 注册 表 。 根 据 该 设置 ，Windows 系 统 会 对 崩 演 的 进程 调用 命令 :"c: \\debuggers\\windbg.exe" 
-p %ld -c ".dump /ma /u c: \dump\\crash.dmp;q\"。 该 命令 调用 安装 在 ci\debuggers 目 录 的 windbg.exe( 测 
试 人 员 需 要 先 将 Windbg 安 装 在 该 目录 下 ) 将 月 淡 进程 的 内 存 转 储 文件 写 和 人 ci\dump 目 录 。 这样, 测 
斌 人员 可 以 自动 获得 月 演 进程 的 转 储 文件 ， 使 得 一 些 罕见 的 骨 淡 错误 能 够 获得 有 益 的 诊断 信息 。 


B crash_auto_dump.reg - Notepad2 = 0 EA 
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Windows Registry Editor Version 5.00 


[HREY_LOCAL MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\AeDebug] 
“Auto"="1" 
"Debugger"="\"c:\\debuggers\\windbg.exe\" -p $ld -c \".dump /ma /u c:\\dump\\crash.dmp;q\"" 


([HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\AeDebug\AutoExclusionList] 
"DWM. exe”=dword: 00000001 


“trustedinstaller.exe”"=dword: 00000001 
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图 2-3 ”使 用 Windbg 自 动 生成 月 演 进程 的 转 储 文件 


本 节 介 绍 的 工具 适合 Windows 平 台 上 的 软件 测试 。 在 其 他 操作 系统 和 运行 环境 上 工作 的 测试 
人 员 可 以 结合 具体 任务 , 采用 其 他 调试 诊断 工具 , 以 便 第 一 时 间 捕 获 缺 陷 的 信息 。 熟 悉 这 些 工 具 ， 
并 让 它们 随时 可 用 ， 能 显著 提高 测试 效率 。 


第 三 ， 如 果 第 一 次 收集 的 信息 并 不 能 重 现 或 定位 缺陷 测试 人 员 需 要 做 后 续 测 试 ” 。 测 试 之 
前 , 测试 人 员 需 要 增强 软件 运行 的 可 见 性 。 缺陷 没有 重 现 说 明 还 有 一 些 测试 人 员 没 有 观察 到 的 关 
键 因素 ， 如 果 不 提高 可 见 性 , 很 可 能 还 是 观察 不 到 这 些 因素 。 因 为 软件 运行 非常 复杂 , 测试 人 员 
需要 熟悉 软件 的 运行 机 制 和 调试 工具 ， 才 能 有 效 地 观察 。 以 下 是 一 些 常 见 的 观察 方法 。 


口 软件 错误 可 能 是 因为 软件 不 能 获得 某 种 操作 系统 资源 ， 如 内 存 、 文 件 、 网 络 端口 、 注 册 
表 键 值 等 , 也 可 能 是 因为 它 错误 地 使 用 了 资源 。 测 试 人 员 需 要 用 工具 ( 如 Process Explorer ) 
观察 软件 和 操作 系统 使 用 和 持 有 哪些 资源 。 

口 软件 错误 可 能 是 因为 软件 处 于 不 正确 的 状态 。 这 通常 体现 为 某 些 变量 的 值 出 了 问题 。 测 

试 人 员 可 以 用 调试 器 (如 Windbg ) 观察 相关 变量 的 值 ， 并 留意 它们 的 变化 。 

O 软件 错误 可 能 是 因为 操作 的 顺序 或 时 序 不 正确 。 测 试 人 员 可 以 研究 软件 的 日 志 ， 了 解 软 

件 的 每 一 步 操作 及 其 耗 时 。 

O 软件 错误 可 能 是 因为 软件 所 调用 的 软件 或 服务 返回 了 它 不 能 处 理 的 数据 。 如 果 软 件 调 用 
网 络 服务 , 测试 人 员 可 以 用 工具 ( 如 Fiddler ) 监控 网 络 通信 , 以 了 解 软件 发 送 了 什么 数据 、 
收 到 什么 数据 。 如 果 所 调用 的 软件 或 服务 有 日 志 ， 测试 人 员 需 要 将 日 志 记 录 设 置 为 最 详 
细 的 级 别 ， 并 仔细 阅读 日 志 内 容 。 一 些 诊断 工具 ( 如 Windows Performance Toolkit ) 能 够 


@ James Bach 的 文章 How to Investigate Intermittent Problems ( http://www.satisfice.com/blog/archives/34 ) 提供 了 许多 好 
的 测试 想法 。 
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观察 进程 之 间 的 调用 关系 ， 有 助 于 识别 软件 之 间 的 依赖 关系 。 
口 软件 错误 可 能 是 数据 库 返 回 了 它 不 能 处 理 的 数据 。 测 试 人 员 可 以 浏览 数据 库 中 的 数据 ， 
检查 返回 数据 的 表 、 视 图 、 存 储 过 程 、 函 数 等 对 象 ， 以 推测 数据 的 可 能 取 值 。 
口 有 些 软件 内 建 了 一 些 调试 辅助 功能 ， 能 够 提供 软件 运行 的 详细 信息 。 测 试 人 员 可 以 局 动 
这 些 功 能 或 安装 具有 这 些 功能 的 调试 版 本 。 


第 四 , 测试 人 员 应 该 用 “科学 实验 ”的 策略 来 指导 缺陷 重 现 : 提出 假设 , 根据 假设 设计 实验 ， 
用 实验 结果 推翻 假设 或 提出 新 假设 。 在 观察 的 基础 上 , 测试 人 员 结 合 自身 经 验 , 可 以 提出 一 些 对 
错误 原因 的 猜测 。 然 后 ， 他 选择 一 个 猜测 ， 在 它 的 指引 下 ， 设 计 一 批 测试 去 尝试 重 现 缺 陷 。 如 果 
这 些 测试 没有 获得 有 价值 的 新 发 现 , 他 可 以 选择 为 一 个 猜测 , 再 设计 并 执行 测试 。 如 有 果 测试 中 发 
现 了 新 情况 ， 他 可 以 提出 新 猜测 并 记录 下 来 ， 然 后 根据 新 猜测 开始 测试 。 


重 现 缺 陷 很 容易 陷 人 盲目 的 尝试 , 直到 测试 人 员 感 到 疲倦 而 放弃 ,也 没有 多 少 进 展 。 提 出 错 
误 猜 测 使 得 测试 有 明确 的 目标 , 在 它 的 指引 下 测试 人 员 可 以 自由 发 挥 ， 而 不 会 迷失 方向 。 整 个 过 
程 的 特征 是 设 定 明确 的 目标 、 用 实验 去 获得 信息 、 根 据 新 信息 建立 新 目标 。 


第 五 , 调查 一 个 难以 重 现 的 缺陷 与 软件 调试 非常 相似 , 测试 人 员 可 以 借鉴 一 些 调试 原则 和 方 
法 。 调 试 专家 David J. Agans 的 9 条 调试 规则 [Agans06] 不 但 可 以 指导 调试 ， 还 能 帮助 测试 。 


口 理解 系统 (Understand the system )。 解 决 一 个 具体 问题 , 很 多 时 候 需 要 在 整体 上 理解 系 

统 。 重 现 一 个 缺陷 也 要 求 测试 人 员 在 宏观 上 和 细节 上 都 能 把 握 软 件 。 在 项 目 全 程 ， 测 试 

员 需 要 积极 地 学 习 被 测 软 件 的 领域 知识 、 产 品 架 构 、 代 码 实现 、 技 术 平 台 、 调 试 工具 

等 。 只 有 较 全 面 地 理解 软件 ， 才 能 有 效 地 分 析 信 息 、 设 计 实验 、 快 速 测试 。 软 件 开发 与 
测试 没有 捷径 ， 持 续 积累 才 是 正 途 。 

口 制造 失败 (Make itfail)。 影响 软件 行为 的 因素 包括 软件 自身 的 状态 和 软件 的 外 部 输入 (用 
户 的 输入 、 操 作 系 统 的 输入 、 其 他 软件 的 输入 等 )。 测 试 人 员 应 该 列举 这 些 影 响 软件 行为 
的 因素 ， 并 分 析 哪 些 因 素 可 能 与 当前 缺陷 有 关 。 人 然后， 他 需要 大 量 尝 试 这 些 因素 的 取 值 
组 合 ， 并 试 着 总 结 缺 陷 重 现 的 模式 。 有 时 测试 人 员 需 要 求助 于 程序 员 ， 让 他 提供 更 好 的 
测试 钧 子 以 控制 软件 的 状态 和 输入 ， 或 提供 更 好 的 调试 日 志 以 了 解 软件 的 状态 和 输出 。 

口 观察 先 于 思考 (Quit thinking and look)。 在 猜测 引发 错误 的 原因 之 前 ， 应 该 仔细 地 观察 
软件 的 状态 、 操 作 系 统 的 状态 、 所 依赖 的 软件 或 服务 的 状态 ， 并 分 析 软 件 的 输入 数据 和 
输出 数据 。 细 心 观 察 可 以 更 好 地 推测 缺陷 原因 ， 设 计 更 有 效 的 测试 ， 相 反 ， 和 凭空 猜测 很 
可 能 使 测试 误 入 歧途 ， 费 时 费力 却 没有 收获 。 

OQ 分 而 治之 (Divide and conquer)。 如 果 运 行 一 次 测试 需要 大 量 的 准备 工作 ( 如 初始 化 数 
据 库 、 复 制 数 据 文件 、 重 启 服务 等 )， 测试 就 不 能 提供 快速 的 反馈 ,缺陷 调查 的 效率 就 很 
低 。 为 此 ， 测 试 人 员 需 要 建立 一 个 可 以 快速 测试 的 环境 ， 这 通常 需要 隔离 一 些 无 关 的 数 
据 、 软 件 和 服务 ， 也 需要 测试 钩子 的 帮助 。 在 此 环境 中 ,测试 人 员 通 过 逐次 逼近 来 缩小 
搜索 的 范围 ， 即 通过 测试 来 排除 一 些 影响 软件 的 因素 ， 从 而 慢 慢 锁定 若干 重要 的 因素 。 
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口 一 次 只 做 一 处 修改 〈Change one thing at atime )。 在 科学 实验 中 ， 科 学 家 一 次 只 修改 一 
个 变量 的 值 ， 从 而 了 解 该 变量 对 于 实验 结果 的 影响 。 同 样 ， 在 测试 中 ， 测 试 人 员 一 次 只 
修改 一 个 变量 的 值 ， 从 而 了 解 它 对 软件 行为 的 影响 。 

保持 审计 跟踪 (Keep an audit trail)。 在 调查 过 程 中 ， 要 记录 下 所 做 的 测试 和 测试 结果 。 

魔鬼 隐藏 在 细节 中 ， 而 人 的 记忆 总 是 不 可 靠 的 。 应 该 将 测试 、 软 件 和 环境 的 细节 记录 下 

来 ， 作 为 缺陷 报告 的 一 部 分 。 

检查 基本 假设 (Check the plug)。 如 果 测 试 人 员 的 调查 没有 进展 ， 他 也 许 要 质疑 一 下 他 

的 基本 假设 。 面 对 复杂 的 问题 ， 测 试 人 员 的 思考 常常 基于 一 些 能 简化 情况 的 假设 ， 例 如 

他 会 假定 “服务 器 返回 的 数据 应 该 是 没 问题 的 "、“ 这 个 模块 一 直 很 稳定 , 不 会 出 错 ”、“ 错 

误 检查 代码 一 定 能 过 滤 掉 无 效 的 输入 数据 ”等 。 这 些 假设 在 大 多 数 时 候 成 立 ， 但 是 并 非 

永远 如 此 ， 要 质疑 并 检查 它们 。 

获得 全 新 视角 〈Get afresh view)。 如 果 重 现 的 努力 没有 成 功 , 测试 人 员 可 以 向 程序 员 或 

测试 同伴 请 教 。 软 件 是 如 此 的 复杂 ， 每 个 人 都 有 育 点 。 向 别人 解释 问题 ， 会 强迫 测试 人 

员 组 织 思路 ， 这 有 助 于 他 跳出 原来 的 思维 模式 ， 获 得 新 的 见解 。 也 许 叙 述 完毕 ， 测 试 人 

员 就 获得 了 新 的 测试 灵感 。 此 外 ， 被 咨询 人 可 能 知道 一 些 知识 ， 能 够 提供 有 效 的 测试 策 

略 或 关键 线索 ， 这 会 显著 提高 调查 效率 。 

口 如 果 你 没有 修复 它 ， 它 就 一 直 存 在 (Ifyou didn’t fix it It ain'tfixed)。 当 重 现 缺陷 的 努力 
失败 时 ， 测 试 人 员 不 能 简单 地 说 :“ 它 一 定 随 风 而 去 了 。” 缺 陷 在 测试 环境 中 不 出 现 ， 但 
可 能 在 用 户 的 环境 中 出 现 ， 更 可 能 在 公司 领导 向 媒体 做 公开 演示 时 出 现 。 为 了 让 项 目 团 
队 获 得 必要 的 信息 ， 测 试 人 员 应 该 提交 缺陷 报告 。 调查 不 可 重 现 的 缺陷 可 能 是 一 个 “时 
间 黑 洞 ”。 测 试 人 员 应 该 根据 缺陷 的 严重 程度 ， 设 定 不 同 长 度 的 时 间 盒 。 在 时 间 耗 尽 时 ， 
他 可 以 自问 :“ 是 否 追 加 一 个 时 间 盒 继续 调查 ? 在 下 一 个 时 间 盒 中 能 获得 突破 吗 ?” 对 于 
项 目 而 言 ， 是 继续 调查 还 是 开始 新 的 测试 更 有 利 ? ”经 过 评估 ， 他 可 以 决定 是 继续 调查 ， 
还 是 结束 调查 并 提交 缺陷 报告 。 


第 六 ， 在 结束 调查 后 ， 测 试 人 员 需 要 提交 缺陷 报告 。 如 果 测 试 人 员 还 是 未 能 稳定 重 现 缺 陷 ， 
他 需要 非常 仔细 地 编写 缺陷 报告 。 因 为 信息 不 足 , 草率 的 缺陷 报告 大 多 被 解决 为 “不 能 重 现 ”或 
“不 子 修复 "。 为 了 让 程序 员 和 缺陷 评审 者 获得 足够 的 信息 , 测试 人 员 需 要 在 缺陷 报告 中 写 明 以 下 
内 容 。 


O 在 报告 的 开头 坦承 该 缺陷 不 能 稳定 地 重 现 。 

口 估算 该 缺陷 的 重 现 概率 。 它 只 出 现 了 一 次 吗 ? 还 是 在 某 个 情景 中 ， 以 N% 的 概率 重 现 ? 对 
概率 的 估算 不 必 追 求 精确 ， 只 要 根据 测试 记录 进行 简单 计算 即 可 。 

O 该 缺陷 可 能 重 现 的 情景 有 哪些 ”在 各 个 情景 中 重 现 的 概率 是 多 少 ? 

口 如 果 该 缺陷 重 现 ， 所 造成 的 最 严重 后 果 是 什么 ? 

口 为 了 重 现 该 缺陷 ， 做 了 哪些 测试 ， 测 试 结果 如 何 ， 在 测试 中 发 现 了 什么 ? 

O 是否 有 人 提交 过 类 似 的 缺陷 ?那些 缺陷 提供 了 哪些 信息 ? 


口 


口 


口 
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O 根据 现 有 信息 ， 缺 陷 人 员 对 错误 根源 有 哪些 推测 。 只 要 合情合理 ， 有 事实 依据 ， 测 试 人 
员 就 可 以 大 胆 地 发 表 自己 的 看 法 。 


随 着 项 目的 发 展 ,测试 人 员 可 以 分 析 已 知 的 难以 重 现 的 缺陷 。 从 这 些 缺 陷 中 , 他 也 许可 以 总 
结 出 若干 模式 : 某 些 缺 隐 有 相似 的 调用 栈 、 某 些 缺 陷 在 特定 的 环境 中 可 能 重 现 、 茶 些 缺 陷 在 特定 
的 操作 序列 下 可 能 出 现 等 。 与 程序 员 或 测试 同伴 讨论 这 些 模 式 可 能 会 发 现 缺陷 的 根源 , 也 可 能 会 
获得 重 现 缺陷 的 新 思路 。 


2.3 编写 高 质量 的 缺陷 报告 

本 节 介 绍 一 些 技巧 和 实践 方法 , 来 帮助 测试 人 员 编 写 高 质量 的 缺陷 报告 。 因 为 不 同 的 项 目 团 
队 对 测试 人 员 有 不 同 的 期 望 ， 读 者 在 采纳 这 些 基 本 实践 时 ， 需 要 做 一 些 因 地 制 宜 的 变化 。 

本 节 假 设 项 目 团 队 使 用 基于 数据 库 的 缺陷 管理 系统 来 跟踪 缺陷 报告 。 团 队 成 员 可 以 向 系统 提 


交 新 的 缺陷 报告 ， 修 改 和 解决 已 有 缺陷 报告 ,查询 符 合 一 定 条 件 的 缺陷 报告 。 在 此 过 程 中 ,缺陷 
管理 系统 提供 审计 跟踪 功能 ， 记 录 对 缺陷 报告 所 做 的 一 切 修改 。 


2.3.1 为 每 一 个 缺陷 单独 提交 一 份 缺陷 报告 ， 小 缺陷 也 是 如 此 


为 了 提供 完整 的 信息 , 测试 人 员 应 该 报告 他 发 现 的 所 有 缺陷 。 为 了 证 每 一 个 缺陷 都 得 到 审计 
跟踪 ,测试 人 员 应 该 为 其 提供 独立 的 缺陷 报告 。 


有 时 ， 测 试 人 员 会 在 一 份 报告 中 提交 了 几 个 缺陷。 这 可 能 会 导致 一 些 问题 。 


口 缺陷 报告 的 数目 会 少 于 缺陷 的 数目 ， 这 使 缺陷 统计 不 能 获得 准确 的 信息 。 

O 缺陷 报告 中 的 缺陷 可 能 有 不 同 的 根源 ， 需 要 不 同 的 解决 方案 ， 需 要 不 同 的 程序 员 ( 其 至 
不 同 的 项 目 团队 ) 来 解决 。 一 份 报告 不 能 很 好 地 跟踪 所 有 缺陷 的 修复 。 

O 一 份 缺陷 报告 只 有 一 个 优先 级 和 严重 性 ， 但 是 它 所 提交 的 缺陷 可 能 拥有 不 同 的 优先 级 和 
严重 性 。 这 使 得 缺陷 报告 不 能 传递 准确 的 优先 级 和 严重 性 。 

O 因为 不 能 很 好 地 标识 与 跟踪 每 一 个 缺陷 ， 某 个 缺陷 可 能 被 程序 员 和 测试 人 员 所 忽略 ， 以 
致 于 没有 被 修复 。 


为 了 避免 这 些 问 题 , 测试 人 员 需 要 将 此 类 缺陷 报告 拆 分 成 多 个 缺陷 报告 ,让 每 一 个 缺陷 得 到 
独立 的 报告 。 


然而 , 缺陷 管理 系统 的 关键 问题 是 行政 性 的 , 而 不 是 技术 性 的 区 aner99]。 在 某 些 项 目 环境 中 ， 
测试 人 员 提 交 缺 陷 报告 的 动力 会 被 压抑 。 一 个 典型 的 情况 是 项 目 管 理 者 用 缺陷 报告 的 数量 来 评价 
程序 员 的 绩效 ， 这 势必 导致 程序 员 对 缺陷 报告 很 敏感 。 他 也 许 会 对 测试 人 员 说 :“ 你 如 果 发 现 缺 
陷 ， 请 不 要 提交 缺陷 报告 ， 而 是 发 邮件 通知 我 。 这 让 测试 人 员 处 于 两 难 的 境地 : 一 方面 ， 他 知 


。22 ， 


23 编写 高 质量 的 缺陷 报告 


道 向 项 目 团队 提供 高 质量 的 信息 是 测试 人 员 的 基本 责任 ， 隐 藏 信息 将 伤害 测试 人 员 的 “信誉 ”; 
男 一 方面 ， 他 不 想 破 坏 与 开发 伙伴 的 关系 ， 这 是 高 效 测试 的 基本 条 件 之 一 。 


坦率 地 说 , 测试 人 员 没 有 能 力 和 资源 去 解决 “不 良 管理 ”所 带 来 的 问题 , 这 是 项 目 经 理 或 更 
高 层 经 理 的 职责 。 面 对 此 类 情况 , 测试 人 员 还 是 应 该 正常 报告 每 一 个 缺陷 ,因为 隐藏 缺陷 将 伤害 
项 目 团队 对 测试 人 员 的 信赖 ， 而 “可 信赖 ”是 一 个 信息 提供 者 的 工作 基础 。 同 时 ， 他 需要 向 “ 受 
影响 ”的 程序 员 解 释 他 的 做 法 ， 并 强调 缺陷 报告 从 来 都 是 对 事 不 对 人 。 更 积极 的 行动 是 ,他 应 该 
当面 向 他 的 领导 (通常 是 测试 经 理 或 项 目 经 理 ) 解释 当前 的 管理 流程 给 测试 工作 带 来 了 困难 , 并 
将 对 项 目 产 生 不 好 的 影响 。 如 果 能 联合 其 他 测试 同事 一 起 提出 建议 , 领导 者 会 更 容易 看 到 问题 之 
所 在 。 


2.3.2 ”仔细 编写 缺陷 报告 的 标题 


在 阅读 缺陷 报告 时 ， 读 者 总 是 和 匈 读 到 标题 。 例 如 ,缺陷 评审 小 组 会 查询 所 有 活跃 的 缺陷 , 查 
询 结果 是 一 个 缺陷 标题 的 列表 ， 缺 陷 标 题 为 进一步 的 分 拣 提 供 了 基础 。 再 例如 ,程序 员 会 查询 所 
有 指派 给 自己 的 缺陷 ,通过 阅读 缺陷 列表 , 来 了 解 当前 待 修复 的 缺陷 。 再 例如 ,测试 经 理 报告 测 
试 进展 ， 其 报告 会 列举 当前 活跃 的 缺陷 〈 体现 为 一 个 缺陷 标题 的 列表 ) 来 描述 软件 开发 的 状态 ， 
报告 的 读者 对 缺陷 所 有 判断 皆 来 自 标 题 。 


为 了 帮助 缺陷 报告 的 读者 更 快 、 更 准确 地 理解 缺陷 , 测试 人 员 需 要 认真 编写 标题 。 一 个 较 好 
的 模式 是 “条 件 - 失 败 ”[Karen08]， 即 阐述 在 何 种 情况 下 软件 会 发 生 什么 样 的 失败 。 以 下 是 一 些 
具体 的 例子 。 


O 当 软 件 不 能 申请 到 足够 的 内 存 时 ， 打 印 结 果 将 丢失 页 面 上 的 一 些 图 片 。 
口 当 打 开 一 个 旧版 本 的 文件 (版 本 号 : 2.0 ) 时 , 软件 报告 打开 文件 失败 ( 错误 代码 : XYZ )。 
O 当 程序 退出 时 ， 它 可 能 引发 间歇 性 骨 溃 〈 前 省 时 所 调用 的 函数 是 ABC )。 

标题 要 客观 陈述 软件 所 直到 的 问题 , 描述 触发 问题 的 情景 和 问题 的 症状 。 这 有 助 于 读 到 标题 
的 人 推断 缺陷 的 严重 性 和 可 能 的 技术 原因 。 测试 人 员 还 可 以 在 标题 中 加 入 一 些 技术 细节 ,如 错误 
代码 和 函数 名 ， 这 使 得 相似 症状 的 问题 可 以 相互 区 别 。 


2.3.3 ” 像 编 写 详细 测试 用 例 那样 编写 重 现 步骤 
在 编写 缺陷 的 重 现 步 又 时 , 测试 人 员 可 以 参考 详细 测试 用 例 的 编写 规则 , 使 得 重 现 步 骤 尽 可 
ESHA, FU. 
O WR SOA, FEUER I “UR” — 0, S ar se BRE 
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O 在 重 现 步 骤 中 ， 为 每 一 个 操作 编号 ， 以 清楚 地 表明 第 1 步 做 什么 、 第 2 步 做 什么 。 

口 不 要 假定 缺陷 报告 的 读者 对 软件 很 熟悉 ， 要 清楚 地 写 下 每 一 步 操作 的 内 容 ， 例 如 点 击 了 
什么 按钮 、 在 哪个 控件 中 输入 了 什么 字符 等 。 

口 不 要 包含 不 必要 的 步骤 。 

口 清楚 地 写 下 执行 操作 序列 后 的 “预期 结果 ”。 

O 清楚 地 写 下 执行 操作 序列 后 的 “实际 结果 ”。 

O 如 果 可 以 提供 更 多 的 信息 ， 可 以 将 它们 写 人 “附加 信息 ”一 节 。 


以 下 是 一 个 重 现 步骤 的 例子 。 


测试 配置 测试 机 安装 64 位 Windows 8.1 操 作 系 统 ，32GB 内 存 。 


重 现 步 骤 : 
(1) 关闭 计算 机 上 的 所 有 窗口 。 
(2) 启动 产品 。 


(3) 用 产品 打开 缺陷 报告 附件 中 的 文档 。 

(4) 点击“ 文件 打印”。 

(5) 在 打印 对 话 框 中 选择 “Micorosft XPS Document Writer” , 
(6) Rae “ATER”. 

(7) 保存 XPS 文 件 。 


预期 结果 : 所 生成 的 XPS 文 档 共 10 页 ， 每 页 正确 显示 原文 档 的 内 容 。 
实际 结果 : 所 生成 的 XPS 文 档 共 10 页 ， 但 是 第 8、9、10 页 上 缺少 原文 档 所 包含 的 图 片 。 


附加 信息 : 在 打印 过 程 中 ， 产 品 进 程 的 内 存 占 用 持续 增长 ， 从 200MB 一 直 增 长 到 1.1GB。 在 
打印 结束 后 ， 内 存 占用 降 回 400MB。 详 细 信 息 请 参考 附件 中 的 “内 存 占 用 变化 趋势 jpg”。 


2.3.4 ”使 用 缺陷 模板 来 提交 缺陷 

许多 缺陷 管理 系统 支持 缺陷 报告 模板 ,测试 人 员 应 该 充分 利用 该 功能 。 首先 , 他 可 以 利用 模 
板 为 一 些 缺 陷 报告 字段 设置 默认 值 ,这 提高 了 编写 报告 的 速度 。 其 次 , 缺陷 模板 定义 了 缺陷 报告 
的 结构 ， 能 提醒 测试 人 员 报告 一 些 重要 的 信息 。 以 下 是 一 份 简化 了 的 缺陷 模板 ， 它 用 于 提交 “ 打 
印 ” 相 关 的 错误 。 


标题 : [打印 ] 在 什么 情况 下 ， 打 印发 生 何 种 故障 


功能 路 径 : 产品 家 族 愉 产品 Y\ 打 印 


严重 程度 : 严重 
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测试 配置 : 请 提供 操作 系统 、 打 印 机 型 号 等 信息 


EPR: 
(1) 


请 考虑 提供 如 下 信息 
口 用 户 影 响 
口 重 现 此 缺陷 的 其 他 情景 
口 有 助 于 调试 的 任何 信息 ( 


口 相关 缺陷 


如 屏幕 截图 、 函 数 调用 栈 、 运 行 日 志 、 内 存 转 储 等 ) 
O 该 缺陷 能 否 稳定 重 现 ? 如 果 是 间 葡 性 重 现 ， 重 现 概率 是 


ee 


这 份 缺 陷 模 板 包 含 “ 用 户 影 响 ” 等 提示 词 ， 它 们 提醒 测试 人 员 从 特定 的 角度 来 提供 信息 。 测 
试 人 员 可 以 根据 项 目的 特点 ,在 缺陷 模板 中 加 入 恰当 的 提示 词 。 在 报告 某 个 缺陷 时 , 测试 人 员 可 
能 会 忽略 一 些 提示 词 ， 因 为 它们 并 不 适用 于 当前 缺陷 , 但 这 是 测试 人 员 思 考 后 的 决定 ， 而 不 是 遗 


ZR a BAY GLI o 


在 日 常 工作 中 ,我 会 制作 几 份 缺陷 模板 ， 


分 别针 对 不 同 的 功能 模块 或 缺陷 类 型 。 随 着 项 目的 


进展 ， 我 会 修订 缺陷 模板 或 增加 新 的 模板 ， 使 得 它们 符合 项 目 团队 对 缺陷 的 要 求 。 


2.3.5 在 编写 缺陷 报告 时 ， 要 考虑 缺陷 查询 
有 时 ,测试 人 员 需 要 查询 缺陷 管理 系统 。 例 如 ,他 发 现 了 一 个 缺陷 , 在 提交 缺陷 之 前 ， 他 会 


搜索 缺陷 管理 系统 ， 以 了 解 该 缺陷 是 否 已 经 被 提交 。 又 例如 , 在 发 现 一 个 缺陷 后 ， 他 想起 以 前 曾 
经 提交 过 一 个 相似 的 缺陷 ， 为 了 了 解 那个 缺陷 是 如 何 解 决 的 ， 他 会 查询 缺陷 管理 系统 。 再 例如 ， 
有 人 询问 测试 人 员 为 什么 软件 是 如 此 设计 的 , 他 回忆 起 是 某 个 缺陷 修复 决定 了 当前 的 设计 , 于 是 


他 会 搜索 那个 缺陷 。 


可 见 , 查询 缺陷 是 一 件 常见 的 任务 。 为 了 使 查询 更 轻松 ,测试 人 员 在 编写 缺陷 报告 时 要 略 加 
如 果 几 周 后 我 查询 此 报告 ， 我 会 使 用 什么 关键 词 来 搜 


峙 酌 。 在 编写 缺陷 标题 时 ， 他 可 以 自问 : 
索 标 题 ? 其 他 测试 人 员 会 使 用 什么 关键 词 ? 


” 在 列举 


了 一 组 关键 词 之 后 , 他 可 以 选择 一 两 个 写 入 
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标题 。 如 果 缺 陷 报告 提供 了 “关键 词 ” 字 段 ， 他 可 以 将 关键 词 们 一 起 写 和 人 该 字段 。 如 果 没 有 专属 
的 “关键 字 ” 字 段 ， 测 试 人 员 可 以 将 这 些 关 键 词 写 人 报告 正文 。 

有 时 ， 测 试 人 员 会 搜索 “ 重 现 步骤 ”或 “附加 信息 ”。 为 此 ， 测 试 人 员 应 该 将 尽 可 能 多 的 细 
节 写 人 这 些 部 分 。 最 典型 的 例子 是 软件 崩溃 时 的 函数 调用 栈 。 如 果 缺 陷 报告 总 是 包含 崩溃 时 的 画 
数 调用 栈 ， 测 试 人 员 用 函数 名 搜索 就 可 以 发 现 此 函数 有 关 的 软件 骨 省 。 


2.3.6 ”链接 相关 的 缺陷 


有 些 缺 陷 出 现在 常见 场景 或 共享 横 块 中 , 会 被 多 人 发 现 。 为 了 避免 重复 提交 某 个 缺陷 , 测试 
人 员 需 要 在 缺陷 管理 系统 中 搜索 相似 的 缺陷 。 如 果 该 缺陷 已 经 被 提交 , 测试 人 员 可 以 将 自己 发 现 
的 信息 补充 到 已 有 的 缺陷 报告 中 。 测试 人 员 不 应 该 假设 很 明显 的 缺陷 一 定 会 被 同事 提交 , 根据 查 
询 结 果 采 取 行 动 才 是 合理 的 策略 。 


有 时 , 测试 人 员 会 发 现 一 些 症状 相似 的 缺陷 , 但 并 不 能 确认 它们 的 错误 原因 是 相同 的 。 对 于 
这 种 情况 , 他 应 该 为 每 一 个 缺陷 单独 提交 一 个 缺陷 报告 , 并 将 它们 链接 在 一 起 ， 从 而 让 程序 员 或 
缺陷 评审 者 了 解 完 整 的 信息 。 有 些 缺 陷 管理 系统 支持 “链接 ”缺陷 ， 只 要 输入 相关 缺陷 的 编号 ， 
系统 就 可 以 将 几 个 缺陷 链接 在 一 起 。 如 果 缺 陷 管理 系统 不 支持 “链接 ”， 测 试 人 员 可 以 选择 一 个 
缺陷 作为 “ 主 缺陷 ”, 在 其 他 缺陷 报告 中 写 下 主 缺 陷 的 编号 ,并 在 主 缺 陷 中 记录 其 他 缺陷 的 编号 。 


2.3.7 ”注意 缺陷 报告 的 可 读 性 


缺陷 报告 是 面向 整个 团队 的 公开 文档 , 应 该 提高 可 读 性 以 服务 读者 。 测试 人 员 不 必 反 复 推 项 
报告 的 字句 ， 他 只 需要 注意 一 些 基 本 规则 ， 就 可 以 提高 报告 的 可 读 性 。 


O 避免 错别字 和 病句 。 如 果 用 英语 撰写 报告 ， 利 用 字 处 理 软件 进行 拼写 和 语法 检查 ， 能 
立即 发 现 并 修正 明显 的 问题 。 对 于 中 文 报告 ， 写 完 之 后 通读 一 遍 就 可 以 改正 大 多 数 文字 
错误 。 

口 尽量 用 数字 列表 来 记录 重 现 步 骤 。 

O 尽量 用 符号 列表 来 罗列 事实 。 

口 用 空 行 分 隔 报告 的 不 同 部 分 ， 在 视觉 上 突显 报告 的 结构 。 

口 用 屏幕 截图 、 视 频 录像 、 内 存 转 储 等 附件 来 提供 更 多 的 信息 。 有 些 缺 陷 用 文字 很 难 描述 ， 
但 是 一 幅 截 图 或 一 段 录 像 就 可 以 很 好 地 说 明 问题 。 关 于 视频 录像 工具 ， 智 能 手机 是 一 个 
很 好 的 选择 。 它 适用 于 任何 软件 和 操作 系统 ， 且 对 被 测 软件 的 运行 没有 任何 影响 。 


2.3.8 ”客观 中 立地 书写 缺陷 报告 
缺陷 报告 是 对 缺陷 的 客观 陈述 ， 只 传递 事实 ,不 评价 任何 人 的 工作 。 客 观 的 风格 使 得 测试 报 
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24 ”对 不 予 修复 的 缺陷 进行 上 诉 


告 更 加 可 信 ， 倾 向 性 明显 的 报告 则 让 读者 怀疑 测试 人 员 的 专业 态度 ， 反 而 不 利于 缺陷 的 修复 。 


口 测试 人 员 需 要 了 解 项 目 团 队 对 缺陷 严重 程度 和 优先 级 的 定义 。 坚 持 按照 团队 约定 来 填写 
这 些 字 段 ， 不 但 能 够 保证 缺陷 报告 的 一 致 性 ， 还 可 以 避免 一 些 不 必要 的 争执 。 

口 有 时 ， 测 试 人 员 要 对 缺陷 的 用 户 影 响 或 可 能 原因 做 一 些 评论 ， 他 应 该 先 列举 事实 ， 然 后 
再 进行 递 慎 的 推 新 ， 并 写 清 楚 推理 过 程 的 因果 逻辑 。 

O 缺陷 报告 只 报告 错误 ， 不 要 评价 软件 设计 ， 也 不 建议 解决 方案 。 测 试 人 员 可 以 当面 与 产 
品 经 理 、 程 序 员 等 讨论 软件 设计 ， 询 问 实现 细节 ， 了 解 对 方 观 点 ， 并 发 表 自 己 的 意见 。 


24 ”对 不 子 修复 的 缺陷 进行 上 诉 


有 时 ,缺陷 报告 会 被 解决 为 “不 予 修复 ”或 “延迟 修复 ”。 如 果 测 试 人 员 不 同意 这 样 的 决定 ， 
他 需要 立即 进行 上 诉 。 在 许多 项 目 中 ,上诉 是 将 缺陷 报告 提交 给 缺陷 评审 小 组 , 请 他 们 再 次 审查 
缺陷 报告 ， 然 后 作出 最 终 的 决定 。 


在 上 诉 之 前 ， 测 试 人 员 需 要 做 一 些 准备 工作 。 


第 一 ,他 可 以 再 做 一 些 测试 ， 以 研究 缺陷 的 普遍 性 和 严重 性 。 目 的 是 用 证 据说 明 缺 陷 可 以 在 
主流 场景 中 暴露 ， 或 缺陷 能 带 来 严重 的 危害 。 


第 二 ,他 要 改进 缺陷 报告 ,以 强调 缺陷 的 普遍 性 或 严重 性 。 除 了 加 入 后 续 测试 的 结果 ， 他 还 
可 以 请 教 专 家 ( 资深 员工 、 领 域 专家 、 用 户 代表 等 )， 将 他 们 的 意见 写 入 缺陷 报告 。 此 外 ， 他 还 
可 以 收集 一 些 资料 ， 来 证 明 缺 陷 值得 修复 。 例 如 ， 某 个 打印 缺陷 只 在 特定 型 号 的 打印 机 上 出 现 。 
他 可 以 利用 互联 网 搜索 市 场 报告 ,以 了 解 该 型 号 的 打印 机 一 共 销 售 了 多 少 台 、 市 场 前 景 如 何 、 其 
典型 用 户 具 有 什么 特征 。 如 果 发 现 这 是 一 款 畅销 的 打印 机 、 其 用 户 与 被 测 软件 的 用 户 有 很 大 的 交 
集 ， 那 么 将 这 些 信 息 写 人 缺陷 报告 会 显著 提高 其 说 服 力 。 


第 三 ， 他 可 以 与 缺陷 评审 小 组 的 成 员 做 面对面 的 交流 。 当 面 陈述 问题 能 够 更 快速 地 交换 意 
见 , 更 好 地 说 明 问题 。 特 别 是 测试 人 员 可 以 当面 演示 缺陷 的 重 现 情景 ， 从 而 更 生动 地 说 明 缺 陷 对 
用 户 的 伤害 。 另 一 方面 ,他 可 以 了 解 缺 陷 评 审 小 组 的 意见 ， 知 晓 他 们 需要 什么 样 的 证 据 才 会 作出 
修复 的 决定 。 此 外 , 缺陷 评审 者 往往 是 团队 的 管理 者 或 业务 专家 , 他 们 会 从 项 目 进 度 、 价值 取舍 、 
商业 影响 等 多 个 方面 评审 缺陷 。 与 他 们 交流 , 测试 人 员 能 够 更 好 地 理解 业务 和 项 目 , 更 好 地 理解 
其 决定 的 根本 原因 。 


缺陷 上 诉 的 本 质 是 说 服 别 人 采纳 自己 的 建议 。 在 收集 证 据 和 说 服 的 过 程 中 , 测试 人 员 的 “人 
脉 ”会 有 潜移默化 的 作用 。 这 里 的 人 脉 是 指 测试 人 员 的 信誉 和 团队 对 其 能 力 的 认可 程度 。 对 于 人 
脉 好 的 测试 人 员 ， 团 队 成 员 会 认为 他 的 意见 是 值得 参考 的 ， 也 愿意 力所能及 地 帮助 他 。 


测试 人 员 建 立 人 脉 的 主要 方法 有 两 条 。 
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口 通过 持续 提交 高 质量 的 缺陷 报告 来 建立 信誉 。 在 许多 项 目 团 队 中 ,缺陷 报告 是 测试 人 员 
的 主要 工作 成 果 ， 程 序 员 和 缺陷 评审 者 通过 它们 来 评价 测试 人 员 的 专业 水 平 。 文 如 其 人 
( You are what you write ) [Kaner01]， 高 质量 的 缺陷 报告 让 测试 人 员 获 得 信任 ， 松 散 的 缺 
陷 报告 让 测试 人 员 失 去 尊重 。 从 这 个 角度 ， 启 得 某 次 的 缺陷 上 诉 是 长 期 努力 的 结果 。 

口 通过 帮助 团队 成 员 ， 让 他 人 认可 他 的 能 力 和 对 团队 的 贡献 。 除 了 报告 缺陷 ,测试 人 员 还 
通过 其 他 途径 来 服务 团队 ， 例 如 测试 程序 员 的 私有 版 本 以 提供 快速 反馈 、 深 入 调查 一 个 
严重 的 缺陷 、 周 密 地 测试 一 个 即将 上 线 的 补丁 等 。 在 开发 过 程 中 ,许多 任务 之 间 并 没有 
很 清晰 的 界限 ， 如 发 现 和 查 明 缺 陷 [Weinberg08]。 测 试 人 员 不 要 斤斤计较 或 争论 特定 的 活 
动 是 否 属于 测试 ， 倘 若 有 利于 团队 ， 就 应 该 投入 时 间 去 做 。 这 不 但 能 获得 他 人 的 肯定 ， 

还 是 很 好 的 能 力 锻炼 。 


例如 ,有 一 次 我 发 现 了 一 个 由 UI 线程 (用户 界 面 线程 ) 引发 的 死 锁 : UI 线程 将 一 个 任务 交 给 
线程 池 的 一 个 工作 线程 ,工作 线程 为 了 完成 任务 要 申请 一 个 锁 对 象 , 该 锁 对 象 被 UI 线程 持 有 ， 而 
UI 线程 正在 等 待 工 作 线程 完成 任务 , 于 是 这 两 个 线程 发 生死 锁 。 当时, 此 失败 是 一 个 棘手 的 问题 : 
一 方面 , 错误 发 生 时 ,UI 线程 仍旧 能 够 处 理 用 户 输入 ， 所 以 看 上 去 它 没有 死 锁 ; 男 一 方面 ,这 是 
一 个 间隙 性 的 失败 , 在 开发 者 的 机 器 上 不 能 重 现 , 在 我 的 测试 机 上 只 能 够 偶尔 重 现 。 为 了 避免 该 
缺陷 被 解决 为 “不 予 修复 ”或 “不 能 重 现 ”， 我 花 了 一 个 多 小 时 调查 该 错误 ， 终 于 重 现 死 锁 ， 并 
用 调试 器 找到 了 引起 死 锁 的 工作 线程 和 锁 对 象 。 我 提交 了 这 些 信 息 后 , 开发 者 立即 表示 我 的 报告 
很 有 价值 ， 并 迅速 修复 了 这 个 提交 了 多 日 的 “其 案 ”。 如 今 回 想 , 我 本 可 以 更 快 地 发 现 错误 根源 ， 
但 是 我 对 代码 不 了 解 ， 调查 时 走 了 一 些 弯路 。 不 过 , 通过 这 次 调查 , 我 较 完整 地 理解 了 这 部 分 代 
码 , 今后 我 能 够 更 有 效 、 更 自信 地 测试 。 还 有 一 点 感悟 是 ,我 和 程序 员 非 常 幸运 ， 因 为 我 的 测试 
机 能 够 “偶尔 ” 重 现 该 死 锁 。 如 果 该 缺陷 遗漏 到 用 户 环 境 再 发 现 , 我 们 可 能 需要 用 几 倍 的 时 间 来 
调查 和 修复 。 
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2.5 周密 地 测试 缺陷 修复 


当 缺 陷 被 修复 后 ,测试 人 员 需 要 测试 软件 的 新 版 本 ， 以 检查 缺陷 是 否 得 到 修复 、 修 复 是 否 引 
入 新 的 缺陷 。 该 活动 体现 出 软件 测试 的 迭代 本 质 : 测试 人 员 总 是 循环 测试 软件 的 版 本 序列 ， 后 续 
的 测试 任务 基于 先前 发 现 的 信息 ( 如 缺陷 报告 )， 而 先前 测试 获得 的 知识 会 改进 后 续 测 试 的 测试 
策略 。 


测试 缺陷 修复 大 致 可 以 分 成 两 类 。 第 一 类 是 测试 普通 影响 力 的 缺陷 修复 , 例如 测试 项 目 中 发 
现 的 普通 缺陷 ; 第 二 类 是 测试 高 影响 力 的 缺陷 修复 , 例如 测试 架构 级 别 的 改动 、 测 试 发 布 前 夕 做 
的 缺陷 修复 、 测 试 已 发 布 产 品 的 补丁 等 。 第 一 类 任务 只 要 求 做 小 范围 的 回归 测试 ， 工 作 量 较 小 。 
第 二 类 任务 要 求 测试 人 员 对 某 个 功能 和 情景 做 周密 的 测试 , 工作 量 大 , 可 能 需要 一 个 或 多 个 工作 
日 才能 完成 。 
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2.5 周密 地 测试 缺陷 修复 


对 于 普通 影响 力 的 缺陷 修复 , 测试 人 员 需 要 尽快 完成 测试 ,以 提供 及 时 的 反馈 。 程序 员 刚 提 
交代 码 时 ， 能 够 回忆 起 代码 细节 ， 如 果 测 试 发 现 新 间 题 ， 他 可 以 快速 地 修正 。 此 外 ， 有 一 些 缺 陷 
修复 更 改 了 软件 的 设计 , 这 可 能 是 程序 员 、 测 试 人 员 和 程序 经 理 讨论 的 结果 。 如 果 测 试 发 现 新 的 
设计 仍旧 存在 问题 , 他 们 可 以 有 时 间 再 做 设计 。 如 果 测 试 人 员 “ 积 压 ” 了 一 批 待 测试 的 缺陷 修复 ， 
直到 项 目 后 期 才 测 试 , 那么 在 测试 中 发 现 的 问题 很 可 能 没有 时 间 去 修复 。 对 于 缺陷 而 言 ， 其 报告 
时 机 总 是 越 早 越 好 。 


在 开始 测试 时 , 测试 人 员 可 以 将 缺陷 报告 的 重 现 步骤 作为 脚本 测试 用 例 , 通过 执行 该 用 例 来 
做 基本 检查 。 如 果 软 件 通过 基本 检查 , 测试 人 员 需 要 再 做 测试 来 检查 修复 确实 有 效 。 以 下 是 一 些 
可 能 的 测试 策略 。 


口 测试 人 员 可 以 查看 代码 的 变更 集 ， 了 解 当 前 设计 ， 从 而 更 有 针对 性 地 测试 。 有 时 ， 测 试 
人 员 并 不 能 完全 读 懂 代码 细节 ,但 是 了 解 大 致 的 设计 ， 就 能 为 测试 提供 有 益 的 指导 。 如 

果 必 要 ,测试 人 员 可 以 请 教程 序 员 ， 以 深入 了 解 设计 。 

口 测试 人 员 可 以 考虑 产品 元 素 的 7 个 分 类 ， 在 结构 、 功 能 、 数 据 、 接 口 、 平 台 、 操 作 、 时 间 
上 设计 新 的 测试 用 例 。 不 要 完全 复 用 旧 的 测试 用 例 ， 应 该 设计 新 的 测试 用 例 来 拓展 测试 
的 广度 和 深度 。 

口 测试 人 员 可 以 对 被 修改 的 代码 做 “影响 分 析 ”( 参见 7.1 节 ) 通过 考虑 被 修改 代码 的 输入 、 
输出 、 副 作用 ， 他 可 以 更 好 地 设计 测试 。 例 如 ， 他 可 以 思考 : 被 修改 的 代码 从 何 处 获得 
数据 ? 上 游 代码 会 不 会 产生 它 不 能 处 理 的 数据 ? 软件 会 不 会 用 反常 的 方式 调用 它 ? 被 修 
改 的 代码 会 调用 什么 代码 ?这 些 调用 会 不 会 产生 出 人 意料 的 结果 ?被 修改 的 代码 会 产生 
什么 数据 ? 下 游 代码 能 否 妥 当地 处 理 这 些 数据 ?被 修改 的 代码 会 不 会 修改 全 局 状态 ? 被 
修改 的 全 局 状态 会 不 会 产生 不 良 的 影响 ? 

口 与 “影响 分 析 ” 相 似 ， 测 试 人 员 可 以 考虑 哪些 功能 与 被 修改 的 功能 集成 或 共享 数据 。 他 

可 以 测试 这 些 相关 功能 ， 以 检查 新 的 设计 是 否 破坏 已 有 的 功能 。 

口 测试 人 员 可 以 针对 缺陷 类 型 做 一 些 有 针对 性 的 测试 。 例 如 ， 为 了 提高 程序 的 响应 速度 ， 
程序 员 将 一 些 计算 转移 到 工作 线程 中 。 对 此 ， 测 试 人 员 可 以 制造 一 些 情景 ， 使 工作 线程 
的 计算 抛 出 异常 ， 以 测试 工作 线程 能 否 妥 当地 处 理 可 能 的 异常 。 有 时 程序 员 会 漏 掉 一 些 
异常 处 理 ， 而 未 被 处 理 的 异常 很 可 能 导致 程序 月 溃 。 

对 于 高 影响 力 的 缺陷 修复 ,测试 人 员 应 该 细致 地 测试 新 设计 。 考 虑 到 测试 时 间 较 长 ,他 可 以 

将 其 视 为 一 个 微型 测试 项 目 进行 管理 .在 此 过 程 中 ,他 根据 产品 的 成 熟 度 确定 测试 策略 区 aner01]， 

并 动态 调整 测试 活动 。 

例如 , 测试 人 员 接 到 一 个 为 期 一 周 的 测试 任务 : 测试 一 个 即将 发 布 的 产品 补丁 。 他 可 以 考虑 
按 如 下 方式 组 织 测试 。 
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O 周一 ， 他 安装 补丁 ， 并 执行 冒 烟 测试 ， 目 的 是 在 第 一 时 间 发 现 严 重 的 缺陷 ， 如 补丁 无 法 
安装 、 基 本 操作 执行 失败 、 基 本 情景 被 阻塞 等 。 然 后 ， 他 会 搜集 补丁 相关 的 信息 ， 例 如 
缺陷 描述 、 修 复 说 明 、 被 修复 功能 的 规格 说 明和 测试 文档 、 互 联网 上 相关 的 业务 或 技术 
文档 等 。 他 一 边 积极 地 学 习 信 息 , 一 边 “ 同 情 地 测试 ” 测试 的 目的 是 检验 信息 的 有 效 性 ， 
获得 真实 的 反馈 ， 并 建立 产品 的 测试 模型 ， 为 进一步 的 测试 做 好 准备 。 

口 周一 下 午 ， 他 会 根据 研究 成 果 ， 编 写 一 份 1 ~ 2 页 的 测试 计划 ， 列 出 已 经 执行 和 即将 执行 
的 测试 想法 ， 并 发 送 给 补丁 程序 员 、 资 深 同 事 、 测 试 经 理 和 产品 经 理 等 ， 邀 请 他 们 对 测 
试 计 划 提 供 反 馈 。 下 班 时 ， 测 试 人 员 会 对 未 来 的 测试 充满 信心 ， 因 为 他 已 经 验证 了 基本 
的 功能 ， 并 根据 多 样 的 信息 源 和 真实 的 测试 经 验 制订 了 测试 计划 。 

口 周二 ,测试 人 员 会 “积极 地 测试 ”"”， 对 补丁 和 被 影响 的 相关 功能 执行 深入 的 测试 。 在 测试 

的 间 际 ， 他 会 将 新 的 测试 想法 写 入 测试 计划 ， 使 测试 计划 反映 他 对 产品 的 最 新 理解 。 

口 周三 ,测试 人 员 已 经 对 补丁 和 产品 有 了 深入 的 理解 ， 他 也 陆续 收 到 同事 对 测试 计划 的 反 
馈 。 他 会 再 次 综合 各 方面 信息 ， 完 善 产 品 的 测算 模型 ， 从 而 “多 样 地 测试 ” 他 可 以 执行 
同事 补充 的 测试 想法 ， 检 查 自 动 化 测试 的 结果 ， 利 用 测试 工具 执行 压力 测试 ， 利 用 调试 
器 检查 产品 代码 的 行为 一 一 他 会 运用 一 切 手段 去 获取 有 价值 的 信息 ， 直 至 新 的 信息 不 再 
出 现 。 

口 周 四 下 午 ， 测 试 人 员 会 将 测试 计划 转化 为 测试 报告 。 这 不 是 单纯 的 文档 工作 ， 而 是 再 一 
次 审视 测试 情况 ， 梳 理 测 试 思路 ， 以 查 漏 补缺 ， 为 最 后 一 天 的 测试 做 好 准备 。 如 果 测 试 
情况 显示 测试 人 员 需 要 更 多 的 时 间 去 完成 测试 ， 他 可 以 立即 向 测试 经 理 说 明 情 况 ， 并 申 
请 更 多 的 测试 时 间 。 

口 周 五 ， 测 试 人 员 也 许 会 收 到 本 周 所 提交 缺陷 的 修复 ， 他 会 “严谨 地 测试 ”。 在 发 布 前 夕 ， 
对 任何 一 行 代码 或 配置 文件 的 修改 ， 都 要 做 细致 的 、 一 丝 不 苟 的 测试 。 测 试 内 容 往往 是 
针对 小 范围 代码 的 全 面 测试 ， 包 括 简单 的 验证 ， 也 包括 复杂 的 攻击 。 测 试 人 员 不 会 因为 
一 周 紧 张 的 工作 就 放松 懈 仿 ， 他 会 理解 此 时 细小 的 错误 将 导致 巨大 的 损失 。 

口 最 后 ， 他 会 提交 测试 报告 ， 在 客观 描述 的 基础 上 ， 给 出 他 对 补丁 的 评价 和 建议 。 虽 然 测 
试 时 间 结束 了 ， 但 是 测试 可 能 并 未 结束 。 如 果 测 试 报告 显示 进一步 的 测试 能 够 发 现 有 价 
值 的 信息 、 能 够 揭示 潜在 的 风险 ， 测试 人 员 应 该 与 管理 人 员 交 流 ， 建 议 进 一 步 测试 。 管 

理 层 会 根据 市 场 、 进 度 、 技 术 等 信息 作出 决策 。 


2.6 ”坚持 阅读 缺陷 报告 


在 项 目 过 程 中 , 测试 人 员 应 该 持续 阅读 他 人 提交 的 缺陷 报告 ， 从 而 更 好 地 理解 项 目 进展 ,并 
激发 测试 灵感 。 
许多 缺陷 管理 系统 支持 “缺陷 查询 ”， 它 允许 测试 人 员 指 定 一 组 查询 条 件 ， 如 缺陷 所 属 的 功 
能 、 缺 陷 提 交 的 日 期 、 缺 陷 标 题 包含 的 关键 词 等 ， 然 后 返回 符合 条 件 的 缺陷 报告 。 利 用 该 功能 ， 
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测试 人 员 可 以 查询 自己 负责 的 功能 和 相关 功能 的 缺陷 报告 , 浏览 缺陷 报告 列表 , 阅读 他 感 兴趣 的 
报告 (8.2.1 节 还 介绍 了 一 些 定 量 分 析 缺 陷 报告 的 方法 )。 每 天 或 每 周 阅读 缺陷 报告 可 以 帮助 测试 
人 员 更 好 地 测试 。 


口 


口 


口 


口 


了 解 当前 有 哪些 活跃 的 缺陷 。 通 过 阅读 缺陷 报告 ， 测 试 人 员 可 以 了 解 他 的 功能 或 他 依赖 
的 功能 有 哪些 问题 。 这 样 ， 他 发 现 相 同 的 问题 时 不 会 重复 提交 缺陷 报告 。 更 重要 的 是 ， 
他 知晓 测试 对 象 的 局 限 ， 在 测试 时 可 以 绕 开 一 些 阻碍 ， 从 而 提高 测试 效率 。 

学 习 测试 技巧 ， 完 善 测试 设计 。 阅 读 缺 陷 报 告 ,测试 人 员 可 以 了 解 测试 伙伴 、 内 部 用 户 、 
Beta 版 用 户 发 现 了 哪些 缺陷 。 如 果 他 们 发 现 的 缺陷 位 于 测试 人 员 负 责 的 功能 , 测试 人 员 可 
以 自 间 ， 为 什么 他 发 现 了 这 个 缺陷 ? 他 的 测试 设计 有 什么 特点 ? 为 什么 我 的 测试 没有 发 
现 这 个 缺陷 ? 如 何 增强 我 的 测试 策略 ， 使 我 以 后 也 可 以 发 现 此 类 问题 ? 仔细 地 思考 这 些 
问题 ， 记 录 思 考 结果 ， 再 应 用 于 今后 的 测试 ， 能 够 稳步 提高 测试 质量 。 

获得 测试 灵感 。 软 件 的 功能 具有 相似 性 ， 在 某 个 功能 发 现 的 缺陷 ,也许 会 在 其 他 功能 以 
另 一 种 形式 存在 。 测 试 人 员 参 考 相关 功能 发 现 的 缺陷 ， 能 够 产生 新 的 测试 灵感 。 例 如 ， 
测试 人 员 负 责 排版 软件 的 图 片 测试 。 他 知道 图 片 和 艺术 字 拥 有 一 组 相似 的 “特效 ”; 阴影 、 
倒影 、 柔 化 边缘 、3D 效 果 等 ， 它 们 共享 部 分 代码 。 于 是 ， 他 阅读 艺术 字 特 效 的 缺陷 报告 ， 
将 某 些 测试 设计 “移植 ”到 图 片 功能 ， 从 而 使 图 片 测试 更 具 多 样 性 。 

追踪 软件 设计 。 需 求 分 析 和 功能 设计 都 不 可 能 完美 ， 测 试 人 员 会 在 实际 使 用 软件 的 过 程 
中 发 现 设计 的 缺陷 。 为 了 修正 该 缺陷 ， 产 品 经 理 或 程序 员 会 修改 功能 设计 。 当 新 的 设计 
缺陷 浮现 时 ， 他 们 可 能 再 次 修改 设计 。 随 着 项 目 进展 ， 最 初 的 规格 说 明 将 不 能 反映 当前 
的 设计 ， 而 新 设计 的 讨论 和 决策 都 保存 在 缺陷 报告 中 。 面 对 这 种 情况 ， 测 试 人 员 无 需要 
求 产品 经 理 更 新 规格 说 明 ， 因 为 将 信息 从 缺陷 报告 搬运 到 规格 说 明 费 时 费力 ， 还 可 能 

失 部 分 信息 和 可 追踪 性 。 最 简单 的 方法 是 在 缺陷 标题 中 增加 “[ 设 计 变 更 ]” 来 标记 此 类 缺 
陷 (有 些 缺陷 管理 系统 支持 “关键 字 ” 字 段 ， 也 可 以 将 “设计 变更 ”添加 到 该 字段 ) S 
后 ， 他 可 以 用 关键 词 “ 设 计 变更 ”查询 缺陷 管理 系统 ， 以 了 解 设计 变迁 的 历史 。 

总 结 缺 陷 模 式 。 经 过 一 段 时 间 的 积累 ， 测 试 人 员 可 以 综合 多 个 相似 或 相关 的 缺陷 ， 提 称 
出 它们 的 模式 。 针 对 这 些 模式 ,测试 人 员 能 够 提出 一 些 有 针对 性 的 测试 策略 ， 从 而 更 忆 
地 发 现 该 类 缺陷 。 此 外 ， 一 些 缺 陷 模 式 暗示 开发 过 程 存在 问题 。 例 如 ， 测 试 人 员 发 现 多 
个 内 存 泄漏 的 缺陷 报告 ， 这 可 能 暗示 程序 员 之 间 的 协作 存在 问题 : 当 一 个 程序 员 调用 其 
他 同事 的 模块 时 ， 他 并 不 了 解 该 模块 对 于 动态 内 存 的 编程 约定 ， 在 进度 压力 下 他 赁 经 验 
完成 了 自己 的 代码 ， 所 以 没有 正确 地 释放 该 模块 返回 的 内 存 。 测 试 人 员 可 以 与 开发 经 理 
当面 讨论 这 些 缺 陷 报 告 ， 帮 助 编程 团队 获得 过 程 改 进 的 信息 。 好 的 开发 经 理会 感谢 测试 
人 员 的 总 结 ， 并 采取 相应 的 改进 措施 。 


持续 地 回顾 缺陷 报告 能 让 测试 人 员 更 好 地 理解 产品 、 技 术 和 团队 。 测 试 人 员 可 以 将 一 些 研 究 
成 果 用 邮件 、 小 组 讨论 等 方式 分 享 给 测试 小 组 。 在 洪 移 默 化 的 影响 下 ,阅读 缺陷 报告 将 成 为 一 项 
团队 的 学 习 活动 。 
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2.7 小结 
本 章 以 缺陷 报告 为 中 心 介 绍 了 一 批 测试 实践 ， 它 们 与 测试 人 员 的 日 常 工作 紧密 相关 。 


O 提交 缺陷 报告 的 目的 是 让 正确 的 缺陷 得 到 修复 。 达 成 这 一 目标 需要 让 缺陷 评审 者 相信 修 
复 缺 陷 是 正确 的 决定 ， 并 证 缺陷 修复 者 掌握 足够 的 技术 信息 。 

口 为 了 说 服 缺 陷 评审 者 ,测试 人 员 要 通过 测试 去 调查 缺陷 的 普遍 性 ( 风险 暴露 的 可 能 ) 和 
严重 性 ( 风险 暴露 的 危害 )。 缺 陷 报告 要 提供 足够 的 证 据 以 说 明 该 缺陷 值得 处 理 。 
口 为 了 帮助 缺陷 修复 者 ， 测 试 人 员 要 通过 测试 去 获得 更 多 的 技术 信息 。 对 于 难以 重 现 的 缺 
陷 ， 测 试 人 员 要 乐观 地 面 对 、 续 密 地 测试 、 严 谨 地 报告 。 

口 测试 调查 可 能 需要 大 量 的 时 间 ， 测 试 人 员 可 以 用 时 间 盒 来 控制 时 间 。 

O 好 的 缺陷 报告 是 独立 的 、 准 确 的 、 便 于 查询 的 、 完 整 的 、 易 读 的 、 客 观 的 。 

O 缺陷 上 诉 的 本 质 是 说 服 别 人 采纳 自己 的 建议 , 其 核心 工作 是 发 据 和 收集 有 说 服 力 的 证 据 ， 
并 通过 交流 将 证 据 传递 给 缺陷 评审 者 。 

口 测试 人 员 的 “人 脉 ”来 自 高 质量 的 缺陷 报告 、 高 水 准 的 信息 服务 和 乐于 助人 的 工作 态度 。 
测试 人 员 要 有 意识 地 拓展 “人 脉 "， 让 它 为 测试 工作 服务 。 

口 测试 缺陷 修复 不 要 重复 已 有 的 测试 ， 应 该 引入 新 的 测试 ， 在 广度 和 深度 上 拓展 测试 设计 。 
口 定期 阅读 缺陷 报告 是 一 项 有 益 的 学 习 活 动 ， 能 够 帮助 测试 人 员 更 好 地 测试 。 
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测试 文档 


从 测试 工作 的 角度 ， 测 试 文档 大 致 可 以 分 成 两 类 : 产品 和 工具 [Kaner01]。 


产品 是 供 他 人 阅读 和 使 用 的 文档 ,一 些 软件 项 目的 合同 要 求 项 目 团 队 在 交付 软件 的 同时 交付 
一 批 规 定 的 文档 ,其 中 的 一 些 文档 需要 测试 人 员 撰 写 。 此 外 , 某 些 软件 过 程 认 证 对 项 目 文档 有 明 
确 的 要 求 。 为 了 通过 认证 ,测试 人 员 也 要 撰写 规定 格式 的 文档 。 


工具 是 测试 小 组 的 内 部 文档 或 测试 人 员 的 个 人 文档 , 其 目的 是 帮助 测试 人 员 更 好 地 测试 。 典 
型 的 例子 是 测试 团队 的 内 部 Wiki 和 测试 人 员 的 笔记 ,它们 内 容 宽泛 、 格 式 灵活 、 形 式 多 样 ， 专 注 
于 实际 的 测试 工作 ， 而 不 强求 文档 的 完备 与 整齐 。 


对 于 大 部 分 软件 项 目 , 项 目 团队 的 目标 是 交付 有 竞争 力 的 产品 , 测试 小 组 的 任务 是 通过 技术 
调查 提供 产品 的 质量 信息 。 因 此 ， 测 试 人 员 不 需要 编写 严格 意义 上 的 “产品 ”， 即 交付 给 客户 和 
认证 评估 小 组 的 文档 。 他 们 编写 的 文档 都 是 团队 或 个 人 实施 测试 的 工具 , 其 根本 价值 在 于 帮助 测 
试 人 员 更 有 效 地 测试 。 偏 离 此 价值 的 文档 过 程 将 浪费 测试 资源 ， 且 阻碍 测试 人 员 有 效 地 工作 。 本 
章 将 围绕 作为 “工具 ”的 测试 文档 ,介绍 一 些 编写 和 维护 测试 文档 的 原则 与 方法 。 


3.1 测试 文档 是 持续 演化 的 工具 


作为 工具 的 测试 文档 需要 随 项 目 进展 而 持续 演化 。 本 节 概 述 测试 文档 的 表现 形式 ,并 讨论 编 
写 和 维护 文档 的 基本 方法 。 


3.1.1 测试 文档 是 提供 测试 信息 的 一 组 文档 


有 些 测试 文档 不 但 是 测试 小 组 的 工具 ,也 是 项 目 团 队 的 开发 辅助 工具 。 通过 它们 , 测试 小 组 
将 信息 传递 给 项 目 团队 和 关系 人 ,让 他 们 可 以 更 好 地 作 决 定 。 在 编写 文档 时 , 测试 人 员 不 但 要 考 
虑 到 文档 的 实用 性 , 还 要 考虑 读者 , 为 他 们 提供 有 价值 的 信息 。 常 见 的 项 目 范围 的 文档 包括 以 下 
几 个 部 分 。 


QQ、 第 3 章 测试 文档 


测试 计划 : 记录 了 指导 测试 过 程 的 一 组 想法 [Kaner01]， 概括 地 论述 了 产品 特性 、 产 品 风险 、 
测试 任务 、 测 试 资源 、 测 试 进度 、 测 试 团队 、 团 队 协 作 等 内 容 。 在 大 型 项 目 中 ,测试 计 划 
通常 由 测试 经 理 撰写 ; 在 小 型 项 目 中 ,测试 人 员 可 以 撰写 一 份 文档 ， 包 含 测试 计划 和 测试 
设计 的 内 容 。 测 试 小 组 、 开 发 小 组 和 产品 经 理会 一 起 评审 测试 计划 。 通 过 评审 ， 他 们 可 以 
就 测试 小 组 的 职责 、 开 发 小 组 的 职责 、 测 试 与 开发 小 组 如 何 协作 等 关键 问题 达成 一 致意 见 。 
从 这 个 角度 ,测试 计划 的 撰写 和 评审 是 一 项 协作 活动 ， 测 试 计划 是 协作 的 成 果 。 

测试 设计 规约 : 记录 了 测试 策略 (一 组 指导 测试 设计 的 想法 [Kaner01] ) 和 详细 测试 设计 。 
测试 人 员 、 程 序 员 和 产品 经 理会 评审 测试 设计 规约 ， 查 漏 补缺 ， 提 出 改进 意见 。 在 评审 
过 程 中 ,测试 人 员 可 以 获得 更 多 的 测试 想法 ， 更 好 地 理解 软件 ; 程序 员 可 以 获得 测试 信 
上 息 ， 更 好 地 编写 开发 者 测试 ; 产品 经 理 能 够 了 解 测试 覆盖 ， 评 估 项 目 风 险 。 

测试 总 结 报告 : 汇报 执行 了 哪些 测试 、 履 盖 了 哪些 功能 、 获 得 了 哪些 信息 、 以 及 未 来 的 
测试 行动 等 内 容 。 通 过 阅读 测试 总 结 报告 ， 测 试 经 理 、 开 发 经 理 、 产 品 经 理 等 能 够 了 解 
测试 进度 、 产 品 问题 、 项 目 风 险 等 信息 。 这 为 下 一 步 的 项 目 规划 提供 了 基础 。 


O 缺陷 报告 也 称 测试 事故 报告 "， 记 录 了 测试 中 发 现 的 软件 失败 。 通 过 缺陷 报告 ,测试 人 


员 传递 了 产品 的 质量 信息 , 并 帮助 开发 小 组 修复 软件 缺陷 。 第 2 章 已 经 专题 讨论 缺陷 报告 ， 
故 本 章 将 不 再 讨论 该 类 文档 。 


除了 项 目 范 围 的 文档 , 测试 人 员 会 编写 一 些 测试 小 组 或 个 人 使 用 的 测试 文档 , 以 帮助 测试 小 


组 或 自己 完成 测试 任务 。 此 类 文档 通常 包括 以 下 几 种 类 型 。 


O 操作 文档 : 用 详细 步 又、 屏幕 截图 、 操 作 视 频 等 形式 记录 完成 某 项 任务 的 过 程 。 测 试 涉 


及 安装 软件 、 配 置 测试 环境 、 操 作 产 品 等 任务 。 有 时 ， 这 些 任务 可 能 很 复杂 ， 或 需要 特 
定 的 知识 。 操 作文 档 使 测试 小 组 的 所 有 成 员 都 可 以 按 图 索 怠 ， 顺 利 完成 任务 。 

测试 笔记 : 记录 测试 过 程 ， 包 括 测试 设计 、 软 件 缺 陷 、 测 试 发 现 、 新 测试 想法 等 内 容 。 
在 我 的 工作 中 ,测试 笔记 是 最 重要 的 测试 文档 。 我 使 用 它 记 录 测 试想 法 ， 回 顾 测 试 过 程 ， 
激发 测试 灵感 。 

测试 资料 : 是 测试 人 员 收 集 整 理 的 测试 支持 材料 。 例 如, 测试 人 员 需 要 测试 一 款 Windows 
8 应 用 ， 于 是 他 从 微软 网 站 获得 了 一 份 测试 指南 [Sundaram12]。 他 学 习 该 测试 资料 ， 掌 握 
测试 Windows 8 应 用 的 基本 策略 ， 并 根据 当前 应 用 的 特点 ,精简 出 一 份 有 和 针对 性 的 测试 文 
档 。 为 了 适应 快速 发 展 的 软件 行业 ， 测 试 人 员 需 要 持续 收集 资料 ， 通 过 积极 阅读 ， 将 它 
们 整理 为 面向 实际 工作 的 文档 。 

移交 文档 : 概述 测试 对 象 的 特征 ， 记 录 了 前 任 测 试 人 员 的 经 验 与 建议 。 通 过 阅读 该 文档 ， 
继任 的 测试 人 员 能 够 了 解 测试 对 象 ， 获 得 相关 测试 资料 ， 从 而 快速 上 手 。 
测试 知识 库 : 记录 测试 小 组 的 知识 。 它 可 以 是 Wiki 网 站 ， 也 可 以 是 共享 的 笔记 文件 。 


O 术语 test incident report 来 自 于 IEEE 829 国 际 标 准 (http://en.wikipedia.org/wiki/IEEE_829 )。 
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3.1 测试 文档 是 持续 演化 的 工具 


可 见 ,“ 测 试 文档 ”并 不 是 一 份 文档 ， 而 是 一 组 文档 。 因 为 软件 开发 是 一 项 复杂 的 创新 过 程 ， 
涉及 形形色色 的 活动 与 关系 人 , 所 以 单一 的 文档 满足 不 了 多 样 化 的 需求 。 测 试 小 组 要 根据 项 目 实 
际 情况 ， 决 定 要 编写 哪些 文档 ， 以 及 这 些 文档 要 满足 何 种 要 求 。 


3.1.2 ”在 测试 中 演化 测试 文档 


测试 是 迭代 过 程 ， 作 为 工具 的 测试 文档 也 需要 “与 时 俱 进 ”"。 以 测试 设计 文档 为 例 ， 其 价值 
在 于 准确 地 描述 软件 的 特性 、 当 前 的 风险 、 针 对 特性 和 风险 的 测试 策略 等 。 如 果 测 试 设计 文档 不 
反映 软件 的 当前 情况 ,不 针对 项 目 过 程 中 浮现 的 风险 , 不 体现 测试 人 员 通 过 测试 获得 的 知识 , 那 
么 按照 此 文档 执行 测试 将 损害 测试 的 效果 。 或 者 , 测试 人 员 意 识 到 文档 已 经 过 时 , 便 将 其 束 之 高 
E, 和 赁 自己 的 经 验 进行 测试 。 这 使 得 投入 在 文档 上 的 努力 付 诸 东 流 ， 也 导致 测试 人 员 可 能 错过 一 
些 已 知 的 重要 测试 。 


为 了 让 测试 文档 持续 演进 , 最 自然 的 方法 是 利用 测试 的 迭代 本 质 , 在 每 一 个 迭代 中 “ 按 需 更 
新 ”测试 文档 。 如 图 3-1 所 示 ， 测 试 人 员 将 测试 设计 、 测 试 执 行 、 测 试 评 佑 、 测 试 学 习作 为 相互 
支持 的 活动 , 在 项 目 过 程 中 迭代 地 执行 。 在 每 一 项 活动 中 , 他 都 可 以 更 新 测试 文 档 ， 让 文档 更 新 
成 为 测试 的 一 部 分 。 如 果 能 做 到 “ 随 风 潜 入 夜 ， 润 物 细 无 声 ” 一 一 将 文档 维护 融入 测试 过 程 ， 那 
么 测试 文档 就 能 成 为 “ 活 的 ”文档 ， 其 维护 阻力 也 能 显著 降低 。 


图 3-1 在 测试 迭代 中 演化 测试 文档 
最 常见 的 测试 迭代 是 测试 新 的 构建 。 在 此 过 程 中 , 测试 人 员 将 测试 文档 作为 行动 的 参考 , 将 
测试 作为 文档 更 新 的 驱动 力 。 


口 测试 设计 : 在 获得 新 构建 后 ,测试 人 员 回 顾 现 有 的 文档 ， 通 过 一 些 启 发 式 问题 来 思考 测 
试 任务 。 这 份 测试 设计 完整 吗 ? 上 次 测试 发 现 了 什么 问题 或 风险 ? 针对 这 些 问题 和 风险 ， 
需要 调整 测试 设计 吗 ? 根据 上 次 的 测试 结果 ， 哪 些 功 能 只 需 简单 测试 ， 哪 些 功能 需要 重 
点 测试 ， 哪 些 测试 不 必 运 行 ， 哪 些 测试 需要 深化 ? 通过 思考 这 些 问题 ， 他 可 以 优化 测试 
设计 ， 并 更 新 测试 文档 。 


35: 


QQ、 第 3 章 测试 文档 


O 测试 执行 : 在 运行 测试 时 ， 测 试 人 员 会 发 现 一 些 新 信息 ， 他 会 将 重要 的 信息 记录 下 来 。 
例如 ， 他 学 习 到 一 些 产品 的 知识 ， 对 于 测试 设计 很 有 帮助 ， 他 就 会 写 人 测试 笔记 。 再 例 
如 ， 他 在 测试 执行 中 产生 了 新 的 测试 想法 ， 他 就 会 补充 到 测试 设计 文档 中 。 还 例如 ， 他 
发 现 特定 的 功能 存在 显著 的 风险 ， 就 会 记录 该 风险 ， 以 便 未 来 更 深入 地 探索 。 
口 测试 评估 : 测试 人 员 不 但 会 评估 软件 的 行为 ， 还 会 评估 测试 的 效果 。 在 测试 过 程 中 ， 测 
试 人 员 会 多 次 查看 测试 笔记 ， 以 检查 测试 覆盖 情况 ， 并 发 掘 更 多 的 测试 想法 。 由 于 软件 
的 复杂 性 ， 许 多 信息 仅 在 测试 执行 时 才 会 暴露 出 来 。 测 试 人 员 应 该 利用 这 些 信 息 ， 去 完 
善 测试 设计 ， 整 理 出 未 来 的 测试 重点 ， 并 记录 在 案 。 
口 测试 学 习 : 测试 人 员 会 根据 测试 反馈 ， 去 学 习 更 多 的 知识 ， 并 整理 成 面向 测试 的 文档 。 
测试 设计 、 执 行 和 评估 可 以 看 作 学 习 软 件 和 技术 的 过 程 ， 测 试 人 员 会 通过 测试 笔记 和 测 
试 设计 文档 来 记录 所 学 到 的 知识 。 除 此 之 外 ,测试 人 员 还 可 能 花 时 间 学 习 一 些 专 项 知识 。 
例如 ， 因 为 被 测 系统 包含 数据 库 ， 测 试 人 员 会 特意 学 习 一 些 数据 库 的 知识 。 学 习 要 有 明 
确 的 产 出 ， 和 否则 很 容易 流 于 形式 。 为 此 ， 测 试 人 员 会 根据 所 学 内 容 编写 一 些 测试 资料 ， 
例如 一 份 数据 库 常 见 软 件 错误 列表 或 一 份 数 据 库 测 试 的 想法 列表 。 
可 见 ， 测试 文档 与 测试 迭代 是 相互 促进 的 。 测 试 文档 为 测试 学 习 、 设 计 、 执 行 、 评 估 提 供 信 
息 ， 帮 助 测试 人 员 有 效 地 测试 ; 在 测试 迭代 中 ,测试 人 员 获 得 更 多 的 知识 ， 从 而 增强 测试 文档 。 
这 样 的 良性 循环 会 稳步 提高 测试 质量 。 


3.1.3 ”注重 实效 的 测试 文档 

在 阅读 上 节 时 , 读者 可 能 会 产生 疑惑 : 在 测试 过 程 中 时 刻 维护 测试 文档 会 不 会 占用 大 量 的 测 
试 时 间 ， 进 而 影响 到 测试 效率 ?我 的 建议 是 : 测试 文档 应 该 内 容 精炼 、 格 式 灵活 、 相 互 参考 ， 从 
而 尽 可 能 降低 维护 的 代价 。 


虽然 测试 文档 具有 多 种 形式 ， 其 核心 仍旧 是 测试 。 对 于 测试 人 员 而 言 ， 其 内 容 不 外 乎 : 需要 
测试 的 功能 和 属性 (测试 对 象 和 测试 覆盖 )、 如 何 实施 测试 (测试 设计 与 测试 执行 )、 如 何 判 断 软 
件 是 否 出 错 (测试 先知 )、 测试 过 程 中 发 现 了 哪些 信息 (测试 发 现 )、 测试 进度 和 测试 资源 。 其 中 ， 
测试 覆盖 与 测试 设计 ( 这 两 个 概念 在 实际 测试 中 紧密 相关 ) 是 核心 元 素 。 在 测试 实战 中 , 测试 人 
员 可 以 用 测试 覆盖 大 纲 或 测试 想法 列表 为 核心 文档 , 用 它 来 驱动 测试 设计 和 执行 , 并 记录 测试 所 
发 现 的 信息 。 


一 种 很 简单 的 测试 覆盖 大 纲 是 功能 列表 [Kaner11]。 如 图 3-2 所 示 ，PowerPoint 人 允许 用 户 在 幻 
灯 片 中 插入 图 片 并 编辑 ,对 于 PowerPoint 的 图 片 功能 ,测试 人 员 可 以 建立 如 图 3-3 所 示 的 PowerPoint 
图 片 功 能 符号 列表 对 图 片 功 能 建 模 。 限 于 篇 幅 ， 该 功能 列表 只 列 出 了 PowerPoint 图 片 的 部 分 功能 
(深入 的 测试 需要 更 详细 的 功能 列表 ), 但 是 它 很 好 地 体现 了 功能 列表 的 特点 。 这些 特 点 也 是 注重 
实效 的 测试 文档 所 需要 考虑 的 要 素 。 
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13-2 ”PowerPoint 的 图 片 功能 
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o 图 片 格式 
o 图片 尺寸 
。 操作 ( “图 片 工 具 ” 下 的 命令 ) 


2 调整 
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图 3-3 ”图片 的 功能 列表 


"， 37 ， 


QQ、 第 3 章 测试 文档 


第 一 ,， 它 建立 了 被 测 对 象 的 整体 模型 。 功 能 列表 的 顶层 条 目 将 图 片 功能 划分 为 6 个 功能 区 域 : 
输入 、 操 作 、 应 用 、 输 出 、 打 印 和 文件 读 写 ， 这 可 以 帮助 测试 人 员 全 面 地 思考 被 测 对 象 。 测试 人 
员 可 以 分 别 测试 每 个 功能 区 域 ， 也 可 以 构思 测试 情景 去 测试 多 个 功能 区 域 的 交互 。 更 重要 的 是 ， 
功能 列表 并 不 是 一 成 不 变 的 , 随 着 测试 的 进展 , 测试 人 员 可 以 根据 新 的 认识 调整 功能 列表 的 顶层 
条 目 ( 功能 区 域 )。 这 样 的 调整 体现 了 测试 反馈 对 测试 模型 的 修正 ， 也 说 明 测 试 文档 既 提 供 了 测 
试 灵感 ， 又 记录 了 测试 所 获得 的 新 知 。 


第 二 , 它 提 供 了 可 扩展 的 测试 设计 框架 。 功能 列表 的 层次 结构 让 测试 人 员 可 以 持续 地 补充 细 
Wo 在 某 个 条 目下 ,他 可 以 增加 更 详细 的 功能 或 针对 该 条 目的 测试 想法 。 在 初始 测试 设计 获得 基 
本 的 层次 结构 后 ， 对 功能 列表 的 补充 都 是 在 测试 迭代 中 “ 按 需 ”发 生 的 。 当 功能 列表 增长 到 一 定 
程度 后 , 测试 人 员 可 能 发 现 原 有 结构 并 不 理想 ,他 会 对 其 进行 调整 ,例如 增加 新 的 顶层 条 目 、 将 
一 些 子 条 目 移 动 到 新 的 顶层 条 目 等 。 调整 结构 说 明 测 试 人 员 的 知识 突破 了 原先 的 水 平 , 新 的 模型 
更 符合 产品 的 本 质 。 许 多 测试 人 员 喜 欢 用 思维 导 图 来 记录 功能 列表 ( 见 图 3-4 )， 它 布局 紧凑 ， 能 
够 一 览 全 貌 ， 从 而 更 容易 增加 想法 和 调整 结构 。 
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应 用 (将 图 片 与 其 他 元 素 组 合 使 用 ) [ve 
图 片 SmartArt 
ae 


被 给 出 对 象 
另存 为 图 片 (输出 ) 
t ' 输出 图 片 格式 
物理 打印 机 
打印 含 图 片 的 文档 Penn 
- O 
保存 
读 写 含 图 片 的 文档 ” 三 读 取 
? 向 后 兼容 


图 3-4 ”功能 列表 的 思维 导 图 形式 


第 三 , 它 提供 了 测试 覆盖 的 目标 , 功能 列表 的 主干 是 产品 的 功能 , 这 提供 了 功能 覆盖 的 目标 。 
它 也 很 容易 纳入 其 他 测试 覆盖 类 型 , 例如 “打印 含 图 片 的 文档 ”包含 子 项 目 “ 物 理 打印 机 ”和 “ 虚 


3.1 测试 文档 是 持续 演化 的 工具 


拟 打 印 机 ”， 这 包含 了 平台 覆盖 的 目标 。 


第 四 ， 它 用 简洁 的 形式 提供 丰富 的 信息 。 在 图 3-3 中 ,“ 图 片 格式 ”和 “PDF” 都 包含 指向 
其 他 文档 的 链接 。 在 测试 这 两 个 功能 时 ， 测 试 人 员 可 以 参考 所 链接 的 文档 ， 获 得 更 详细 的 信 
息 。 测 试 需要 一 组 文档 的 支持 ， 核 心 文档 只 记录 必要 内 容 ， 更 详细 的 信息 可 以 链接 到 其 他 文 
档 。 这 样 做 可 以 保持 核心 文档 的 简洁 ， 让 测试 人 员 快 速 地 掌握 全 局 ， 并 降低 最 常用 文档 的 维 
护 开销 。 

文档 相互 链接 是 一 项 好 的 实践 。 这 让 多 份 文档 相互 支持 、 紧 密 联系 , 使 之 成 为 互 为 补充 的 文 
档 集 。 测试 人 员 对 软件 的 认 知 总 是 逐步 增强 的 ， 补 充 新 的 文档 ,让 它 与 已 有 文档 相互 联系 ， 是 一 
个 浙 进 的 学 习 过 程 ， 其 结果 是 一 个 逐渐 完善 的 领域 模型 。 


第 五 ， 它 格式 灵活 ， 允 许 用 多 种 方式 记录 信息 。 功 能 列表 的 条 目 通常 是 词语 或 语句 片段 ， 配 
合 助 记 符 ( 如 图 3-3 中 的 问号 )， 能 让 测试 人 员 快 速记 录 测 试想 法 和 测试 发 现 。 在 测试 迭代 中 ， 此 
类 灵活 且 非 正式 的 表达 通常 更 高 效 。 例 如 , 测试 人 员 可 以 定义 自己 的 助 记 符 , 用 自己 最 习惯 的 方 
式 记录 信息 。 这 体现 了 测试 文档 的 “工具 ”属性 一 一 它 应 该 帮助 测试 人 员 ， 而 不 是 限制 甚至 阻碍 
他 的 发 挥 。 如 果 测 试 人 员 需 要 提交 正式 的 测试 报告 , 他 可 以 根据 词语 和 助 记 符 ,补充 记录 测试 范 
围 、 测 试 设计 、 测 试 结果 和 总 体 评估 。 
功能 列表 并 不 是 组 织 测试 想法 的 唯一 方法 。 不 同 的 测试 任务 有 不 同 的 需求 , 需要 不 同形 式 的 
核心 文档 ， 以 下 是 一 些 例子 。 


口 功能 测试 可 以 以 功能 列表 为 骨干 、 以 测试 想法 为 叶 节 点 ， 其 表现 形式 是 符号 列表 或 思维 

导 图 。 

a 测试 一 个 产品 补丁 时 ， 测 斌 人员 可 以 从 测试 想法 的 思维 导 图 中 抽取 若干 分 支 ， 构 成 新 的 
思维 导 图 。 测 试 补丁 不 需要 完整 的 思维 导 图 ， 不 过 常常 要 将 几 个 分 支 合 在 一 起 考虑 ， 以 
周密 地 测试 产品 的 一 个 部 分 。 

口 浏览 器 兼容 性 测试 可 以 以 “功能 一 浏览 器 ”和 矩阵 为 核心 ， 其 表现 形式 通常 是 表格 ( 详细 

案例 参见 3.2.5 节 )。 

口 在 安全 测试 时 ， 测试 人 员 可 以 从 一 份 安全 测试 的 缺陷 目录 开始 测试 (缺陷 目录 的 讨论 参 

见 3.2.12 节 )。 该 缺陷 目录 记录 了 典型 缺陷、 失败 症状 、 攻 击 手段 、 可 用 工具 等 信息 。 根 

据 这 些 信 息 ， 测 试 人 员 可 以 构造 测试 用 例 ， 去 挖掘 隐藏 的 缺陷 。 


可 见 , 测试 任务 的 多 样 性 导致 测试 文档 的 多 样 性 。 在 一 个 复杂 的 项 目 中 , 测试 人 员 很 可 能 需 
要 执行 多 项 测试 任务 。 面 对 此 类 情况 ,维护 若干 份 目 标明 确 的 简 尘 文档 ， 其 效率 要 优 于 维护 一 份 
无 所 不 包 的 长 篇 文档 。 测 试 人 员 可 以 参考 如 下 的 文档 维护 策略 。 
口 在 项 目 早期 ， 编 写 测 试 设计 规约 ， 概 述 测试 策略 。 邀 请 产品 经 理 、 程 序 员 、 测 试 经 理 等 
进行 评审 ， 并 根据 反馈 意见 做 出 修改 。 
O 在 测试 设计 规约 的 指导 下 ， 为 测试 活动 收集 、 复 用 、 编 号 、 改 进 测试 文档 。 在 特定 的 测 
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试 活动 中 ,测试 人 员 可 以 复 用 与 修订 测试 设计 规约 ， 可 以 编写 一 页 篇 幅 的 简洁 文档 ， 也 
可 以 即兴 测试 。 总 之 ， 从 实战 出 发 ， 只 做 必要 的 文案 工作 。 
口 将 文档 集中 管理 ， 并 周期 性 地 备份 。 可 能 的 做 法 包括 : 将 文档 提交 到 源 代码 管理 系统 、 
将 文档 保存 在 共享 目录 、 将 文档 保存 在 内 部 网 站 、 将 内 容 写 人 共享 的 测试 知识 库 等 。 测 
试 文档 是 重要 的 测试 资产 ,值得 慎重 保管 。 
口 请 同事 评阅 文档 。 在 生成 一 幅 思 维 导 图 或 一 个 配置 矩阵 后 ,测试 人 员 可 以 用 邮件 评审 或 
桌面 走 查 的 方式 ， 邀 请 相关 同事 评阅 测试 设计 。 与 评审 十 几 页 的 文档 相 比 ， 检 查 一 页 篇 
幅 的 文档 开销 很 低 ， 却 能 够 快速 提供 有 价值 的 意见 。 如 果 测 试 人 员 和 同事 面对面 地 讨论 ， 
通过 头脑 风暴 在 短 时 间 内 可 以 激发 出 更 多 的 测试 想法 。 
口 在 项 目的 重要 里 程 碑 完成 时 ， 整 理 已 有 文档 。 可 能 的 做 法 包括 : 将 一 些 有 价值 的 内 容 移 
入 测试 设计 规约 、 链 接 相关 文档 、 补 充 测试 知识 库 、 编 写 测试 移交 文档 等 。 
作为 工具 的 测试 文档 ， 其 价值 取决 于 它 能 够 帮助 测试 人 员 组 织 测 试 并 找到 缺陷 的 程度 
[Kaner99]。 所 谓 “ 注 重 实效 的 文档 ”就 是 聚焦 于 文档 的 基本 价值 ， 舍 弃 不 必要 的 修饰 。 一 份 直抵 
核心 的 文档 更 容易 编写 、 阅 读 、 修 改 和 流传 。 


3.2 形形色色 的 测试 文档 


本 节 介 绍 一 些 常 见 的 测试 文档 。 它 们 可 以 单独 成 文 ， 也 可 以 组 合 在 一 起 构成 更 周详 的 文档 。 
虽然 形式 不 同 ， 但 是 功能 主要 有 以 下 3 个 区 aner99]。 


O 为 完成 技术 任务 提供 便利 : 测试 文档 提供 技术 信息 ， 以 支持 更 好 地 测试 设计 和 执行 。 

口 改善 测试 任务 和 测试 过 程 之 间 的 联系 : 测试 文档 解释 测试 策略 背后 的 思想 、 测 试 的 覆盖 
范围 、 测 试 工作 的 规模 、 测 试 的 深度 和 广度 、 测 试 分 工 等 ， 从 而 帮助 测试 小 组 与 整个 项 
目 团队 交流 和 协作 。 

O 为 组 织 、 规 划 和 管理 测试 项 目 提供 结构 : 测试 文档 提供 管理 结构 ， 让 测试 经 理 更 好 地 管 

理 测试 项 目 ， 让 测试 小 组 更 好 地 为 项 目 服务 。 


3.2.1 测试 计划 


测试 计划 是 一 组 指导 测试 过 程 的 想法 [Kaner01]。 制 订 良 好 的 测试 计划 需要 深入 评估 项 目 
情况 ， 充 分 利用 测试 资源 ， 合 理 安排 测试 任务 。 在 此 过 程 中 ,测试 人 员 可 以 参考 James Bach 
提出 的 启发 式 测试 计划 的 语 境 模型 ( Heuristic Test Planning Context Model, HTPCM ) 
[Bach00a][Kaner01]. 


图 3-5 展 示 了 HTPCM 的 基本 元 素 ， 其 中 测试 过 程 是 核心 ， 测 试 任务 决定 了 测试 过 程 的 目标 。 
计划 制订 者 要 根据 语 境 ( 开发、 测试 团队 、 测 试 实验 室 、 需 求 ) 来 决定 测试 过 程 和 测试 任务 。 
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寻找 重要 的 缺陷 对 质量 保证 提出 建议 
评估 质量 和 风险 ”对 测试 提出 建议 
标准 认证 对 质量 提出 建议 
满足 过 程 要求 最 大 化 效率 
服务 关系 人 最 小 化 开销 
承担 责任 最 小 化 时 间 


产品 愿景 
测试 过 程 a 
测试 策略 3 Se 8 
保障 条 件 Sane 
工作 产品 


测试 Coe ee ee 
测试 团队 测试 实验 室 


测试 平台 
测试 工具 
测试 程序 库 
缺陷 管理 系统 
办 公平 台 


图 3-5 启发 式 测试 计划 模型 
口 需求 : 是 产品 获得 成 功 的 条 件 ， 包 括 产品 愿景 、 关 系 人 的 期 望 、 质 量 标准 、 参 考 资料 等 。 


计划 测试 的 过 程 也 是 一 个 学 习 需 求 的 过 程 ， 只 有 理解 需求 才能 正确 地 设 定 测试 目标 。 

O 开发 : 是 产品 开发 的 环境 ， 包 括 被 测 产 品 、 项 目 周期 、 项 目 管理 方法 、 配 置 管理 制度 、 
缺陷 预防 手段 、 开 发 小 组 等 。 开 发 环境 对 测试 小 组 的 工作 方式 有 很 大 影响 。 测 试 小 组 要 

推动 开发 环境 的 改变 ， 让 它 更 有 利于 测试 ， 同 时 也 要 积极 地 适应 它 ， 利 用 积极 因素 ， 绥 

解 不 利 因素 。 

口 测试 团队 : 是 测试 小 组 的 特点 ， 包 括 专家 经 验 、 工 作 负载 、 团 队 凝 聚 力 、 团 队 动力 、 领 

导 力 、 项 目 协作 等 。 

O 测试 实验 室 : 是 测试 小 组 可 使 用 的 软 硬 件 资源 ， 包 括 测试 平台 、 测 试 工具 、 测 试 程序 库 、 

缺陷 管理 系统 、 办 公设 备 等 。 

O 任务 : 是 测试 小 组 要 提供 的 服务 ， 可 能 的 选择 包括 寻找 重要 的 缺陷 、 评 估 质 量 和 风险 、 

标准 认证 、 满 足 过 程 要 求 、 服 务 关 系 人 、 承 担 责任 、 对 质量 保证 提出 建议 、 对 测试 提出 

建议 、 对 质量 提出 建议 、 最 大 化 效率 、 最 小 化 开销 、 最 小 化 时 间 等 。 测 试 资源 总 是 有 限 
的 ， 测 试 小 组 要 确定 可 承担 的 服务 ， 并 与 整个 项 目 团队 交流 ， 以 达成 一 致意 见 。 只 有 提 
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供 正 确 的 服务 ,测试 小 组 的 付出 才 是 有 价值 的 。 
口 测试 过 程 : 是 完成 测试 任务 所 需要 执行 的 活动 ， 其 要 点 是 测试 策略 、 保 障 条 件 、 工 作 产品 。 


a 策略 : 是 实施 测试 的 指导 思想 。 测 试 计划 需要 讨论 测试 内 容 、 测 试 重点 、 测 试 优先 级 、 
测试 方法 等 内 容 。 

ma 保障 : 阐述 如 何 利用 测试 资源 实现 测试 策略 ， 包 括 谁 做 测试 、 何 时 测试 、 需 要 何 种 软 
件 、 需 要 何 种 硬件 等 。 

a 产品 : 是 测试 过 程 的 产 出 。 常 见 的 产品 包括 测试 设计 规约 、 目 动 化 测试 用 例 、 测 试 工具 、 
缺陷 报告 、 测 试 总 结 报告 。 测 试 小 组 需要 与 服务 对 象 讨论 ， 明 确 产品 的 类 型 和 要 求 。 


在 HTPCM 的 指引 下 ， 测 斌 计划 者 根据 语 境 来 完成 测试 计划 [Bach00a][Bach99]。 


口 了 解 谁 是 测试 小 组 的 服务 对 象 、 他 们 重视 什么 、 需 要 什么 服务 。 

口 了 解 并 协商 当前 项 目 对 测试 工作 的 要 求 和 约束 ， 以 及 能 获得 的 测试 资源 ( 人 员 、 时 间 、 

软件 、 硬 件 等 )。 

O 分 析 产品 和 产品 风险 ， 建 立 产 品 和 风险 的 初步 模型 。 

O 协商 并 确定 测试 任务 。 

O 根据 要 求 、 约 束 、 资 源 和 任务 ， 制 定 测试 过 程 。 其 中 ,测试 任务 决定 测试 策略 和 测试 产 
品 ， 测 试 策略 指导 保障 安排 ， 而 保障 安排 所 能 使 用 的 资源 又 约束 了 测试 策略 的 选择 一 一 
测试 策略 与 保障 安排 相互 依赖 且 彼 此 影响 。 

O 分 享 并 交流 测试 计划 ， 使 整个 项 目 团 队 理 解 测 试 安排 ,并 获得 相关 反馈 。 

口 监控 项 目 情况 ， 并 持续 调整 测试 过 程 ， 使 项 目 、 任 务 和 测试 过 程 可 以 和 谐 一 致 。 


HIPCM 的 特征 是 测试 计划 者 通盘 考虑 产品 需求 、 项 目 环境 、 测 试 小 组 、 测 试 资源 ， 明 确 测 
试 任 务 ， 并 制订 相应 的 测试 过 程 。 它 认为 好 的 测试 计划 是 基于 语 境 的 ， 只 有 符合 项 目 情况 的 测试 
方案 才能 有 效 地 工作 。 正 如 软件 专家 Gerald M. Weinberg 所 说 ， 测 试 方法 各 有 巧妙 ， 无 所 谓 好 坏 。 
讨论 “优秀 ,不 应 该 只 考虑 测试 方法 本 身 ， 而 是 要 考虑 测试 、 实 现 和 环境 是 否 紧密 联系 , 即 “ 优 
秀 ” 是 对 测试 、 实 现 和 环境 之 间 关 系 的 撒 述 [Weinberg08]。 

作为 测试 计划 的 成 果 , 测试 计划 文档 记录 了 测试 小 组 的 选择 与 安排 。 表 3-1 引 用 了 Chrome OS 
测试 计划 的 音节 标题 [Whittaker12]。 不 难看 出 ,测试 计划 的 作者 Jason Arbon 将 测试 过 程 与 开发 过 
程 紧密 结合 ， 并 根据 语 境 作 出 了 一 系列 决策 。 


表 3-1 Chrome OS 测试 计划 


章节 标题 在 HTPCM 中 的 概念 所 讨论 的 内 容 
总 论 测试 小 组 的 任务 和 基本 策略 
总 论 任务 、 测 试 过 程 之 策略 e 使 用 基于 风险 的 测试 策略 


。 在 目标 硬件 矩阵 上 运行 测试 自动 化 
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在 HTPCM 中 的 概念 


( 续 ) 


所 讨论 的 内 容 


任务 、 测 试 过 程 之 策略 


© 支持 快速 的 开发 迭代 
© 开放 工具 和 测试 的 源 代码 


o 将 Chrome OS 作为 Chrome 浏 览 器 的 首要 平台 (优先 


级 高 于 其 他 操作 系统 ) 
e 测 试 的 任务 是 提供 质量 相关 数据 
e 关 注 可 测试 性 


风险 分 析 


开发 之 产品 


测试 小 组 将 负责 功能 性 风险 分 析 , 包括 风险 分 析 的 目 


的 、 方 法 和 产 出 


针对 所 有 构建 的 基线 测试 


测试 过 程 之 策略 


每 个 构建 都 要 执行 的 测试 ， 冒 烟 测 试 和 性 能 测试 


针对 最 新 可 测 构 建 的 每 日 测试 


测试 过 程 之 策略 


每 天 对 于 最 新 的 可 测 构 建 进行 持续 测试 
o 手工 的 验收 测试 
© 自动 化 功能 性 回归 测试 

o 运行 最 热门 web app 的 测试 用 例 

。 压力 测试 、 持 续 测试 、 稳 定性 测试 
© 持续 的 手工 探索 式 测 试 和 漫游 测试 
o 针对 自动 更 新 的 测试 


针对 发 布 候选 构建 的 测试 


测试 过 程 之 策略 


对 于 发 布 候选 构建 的 测试 
© 网 站 兼容 性 测试 

。 演示 情景 验证 

© PO 缺陷 验证 
© 全 面 压力 和 稳定 性 测试 
。 手工 测试 


Th 


平衡 


工 测试 和 自动 化 测试 


测试 过 程 之 策略 


运用 提供 指导 


曙 释 手工 测试 和 自动 化 测试 的 适用 范围 , 为 测试 资源 


开发 与 测试 小 组 的 质量 责任 


开发 之 开发 团队 


活动 


解释 开发 小 组 和 测试 小 组 各 自 承 担 何 种 质量 责任 与 


开发 之 项 目 周期 、 开 发 之 项 


发 布 通道 a BOER RANN BS 
用 户 反馈 需求 之 关系 人 如 何 歼 取 用 户 反 馈 和 组 织 他 们 的 数据 

I 测试 过 程 之 产品 如 何 保存 手工 测试 用 例 和 自动 化 测试 用 例 
测试 仪表 站 测试 过 程 之 产品 测试 小 组 将 质量 数据 用 可 视 化 的 方式 展示 出 来 
上 所 化 测试 实验 室 之 测试 工具 ”测试 小 组 将 利用 虚拟 化 技术 来 提高 测试 效率 

性 能 测试 过 程 之 策 临 EDE HEE 

压力 、 持 续 、 稳 定性 测试 过 程 之 策 咯 概 壕 压力 测试 、 持 续 测试 、 稳 定性 测试 的 测试 策 咯 
测试 执行 框架 MASAE T AR Te 
设备 厂商 RERAN MES 解 生 了 测试 小 组 如 何 与 OEMJ 三 商 合作 

硬件 实验 室 和 全、 名 。 概述 测试 所 需要 的 硬件 资源 


试 过 程 之 保障 条 件 
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( 续 ) 
章节 标题 在 HTPCM 中 的 概念 所 讨论 的 内 容 
端 到 端 测试 大 规模 自动 化 测试 过 程 之 策略 ar ihe 0 
测试 浏览 器 的 应 用 管理 测试 过 程 之 策略 解释 如 何 测试 浏览 器 的 应 用 管理 功能 


阐述 如 何 实现 浏览 器 可 测试 性 
e 将 Selenium 和 WebDriver 移 植 到 Chrome OS 


浏览 器 可 测试 性 开发 之 产品 e 通过 JavaScript DOM 来 暴露 Chrome 的 用 户 界面 和 
功能 
。 提 供 更 高 抽象 水 平 的 自动 化 脚本 
硬件 测试 过 程 之 策略 解释 测试 小 组 所 测试 的 硬件 功能 
解释 了 5 个 里 程 碑 (2009 年 4 季度 、2010 年 1 季度 、 2010 
时 间 线 开发 之 项 目 周 期 年 ?季度 、2010 年 3 季度 、2010 年 4 季度 ) 分 别 要 达成 
哪些 目标 
SE Pree APT ROE, UAE 
相关 文档 测试 过 程 之 产品 、 测 试 过 程 。 列举 了 相关 测试 支持 文档 
之 保障 


值得 一 提 的 是 ，Chrome OS 测 试 计划 只 有 10 页 〈B5 幅 面 )。 对 于 如 此 规模 的 产品 ， 这 确实 是 
一 份 非常 精炼 的 文档 。 这样 做 是 为 了 让 每 位 测试 人 员 都 能 读 完 测试 计划 , 并 立即 了 解 最 重要 的 策 
略 和 安排 。 对 于 一 个 大 型 项 目 ， 如 此 短小 的 纲领 性 文件 有 助 于 形成 团队 共识 ,并 聚焦 重点 。 至 于 
更 详细 的 技术 内 容 ， 该 文档 提供 了 一 组 外 部 链接 〈 相关 文档 )， 供 测试 人 员 有 选择 地 参考 。 这 些 
相关 文档 通常 由 测试 驱动 者 编号， 能够 为 实际 测试 提供 有 力 支 持 。 


3.2.2 Google ACC 

ACC ( Attributes, Components, Compatibilities ) 是 Google 测 试 团队 使 用 的 一 种 建 模 方法 ， 用 
来 快速 地 建立 产品 的 模型 ， 以 指导 下 一 步 的 测试 设计 [Whittaker12]。Google 的 工程 师 还 开发 了 文 
持 ACC 的 Web 应 用 ， 并 将 其 开源 "。 

运用 ACC 建 模 的 第 一 步 是 确定 产品 的 属性 。 属性 是 产品 的 形容 词 , 是 与 竞争 对 手相 区 别 的 关 
键 特征 。 按 照 敏捷 开发 的 观点 ， 属 性 是 产品 交付 的 核心 价值 。 

《Google 软 件 测试 之 道 》( How Google Tests Sofiware ,简称 HGTS ) 详细 介绍 了 Google+ 的 ACC 
模型 ， 其 中 Google+ 的 属性 如 下 。 
口 社交 : 鼓励 用 户 去 分 享 信息 和 他 们 的 状态 。 
口 表现 力 : 用 户 可 以 运用 各 种 功能 去 表达 自我 。 


O 详 见 http://code.google.com/p/test-analytics/。 
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试 所 有 用 户 行为 。 


ACC 以 属性 开始 ， 是 产品 竞争 的 自然 选择 ,也 符合 Google 的 开发 实践 。 在 Google 的 项 目 中 , 程 
序 员 和 测试 人 员 的 比例 通常 是 10 : 1 或 更 高 。 程 序 
密 的 测试 , 因此 测试 人 员 主 要 关注 用 户 价值 和 系统 测试 。 即便 如 此 , 测试 人 员 也 没有 足够 的 资源 测 
属性 来 明确 产品 的 核心 价值 , 从 而 区 分 出 测试 对 象 的 轻重 组 
和 场 营销 人 员 、 技 术 布道 者 、 商 业 宣 传 材 料 、 产品 广告 等 。 
测试 人 员 也 可 以 使 用 “卖点 漫游 ”来 发 气 和 检验 产品 的 卖点 [Whittaker09] ( 5.4 节 将 讨论 漫游 测试 )。 


口 自如 : 让 用 户 以 直观 的 方式 做 他 们 想 做 的 事 。 
口 相关 : 只 显示 用 户 感 兴趣 的 内 容 。 

口 可 扩展 : 能 够 与 Google 的 已 有 功能 、 第 三 方 网 站 和 应 用 
口 隐私 : 用 户 数据 不 会 泄漏 。 


因此 , 测试 人 员 通 过 
急 。 获取 属性 的 信息 源 可 以 是 产品 经 理 、j 


“ 
员 会 


Em. 


编写 大 量 的 自动 化 测试 用 例 ， 对 产品 实施 周 


第 二 步 是 确定 产品 的 部 件 。 部 件 是 产品 的 名 词 , 可 以 理解 为 产品 的 主要 模块 、 组 件 、 子 系统 。 


ORR: APA 


口 评论 : 对 帖子 、 


HGTS 给 出 的 Google+ 部 件 如 下 。 


口 个 人 资料 : 用 户 的 骨 
口 人 脉 : 用 户 已 经 连接 的 好 友 。 
口 信息 流 : 由 帖子 、 评 论 、 通 知 、 照 片 等 组 成 的 有 序 的 信息 
口 圈子 : 将 好 友 分 组 ， 例 如 把 不 同 的 好 友 归 于 “朋友 ”“ 同 事 ” 
口 通知 : 当 用 户 在 帖子 中 被 提 到 时 ， 向 他 显示 提示 信息 。 

O 视频 群 聊 :， 视频 对 话 的 小 组 。 


I 好友 发 表 的 信 


kPa EA 


It 


兴趣 爱好 。 


照片 、 视 频 等 的 评论 。 
1 好友 上 传 的 照片 。 


部 件 可 以 看 作 功 能 列表 的 顶层 元 素 ， 是 产品 核心 功能 的 清单 。《 Google 软 件 测试 之 道 》 建 议 


部 件 列表 要 尽 可 能 简 


第 三 步 是 确定 产品 的 能 
Google+ 能 力矩 阵 如 表 3-2 所 示 。 


表 3-2 Google+ 的 能 力矩 阵 


I 


io 


中 


本 


单 ，10 个 部 件 很 好 ，20 个 就 太 多 了 。 其 目的 是 重点 考虑 对 产品 、 对 用 户 最 重 
要 的 功能 与 代码 ， 并 避免 漫长 的 部 件 列 表 所 导致 的 分 析 竣 痪 。 


。 能 力 是 产品 的 动词 ， 描 述 了 部 件 如何 实 现 属性 。HGTS 给 出 的 


社交 表 现 力 自 如 相 关 可 扩 R 隐 M 
个 人 资料 | 在 好 友 中 分 享 | 用 户 可 以 在 网 | 很 容易 创建 、 更 向 被 批准 的 .拥有 | 用 户 可 以 保密 

个 人 资料 和 兴 | 上 表达 自我 新 、 传 播 信息 恰当 访问 权限 的 | 隐私 信息 。 只 

趣 爱好 应 用 提供 数据 向 被 批准 、 拥 


有 恰当 访问 权 
限 的 应 用 提供 
信息 
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( 续 ) 
t z | 表现 力 a 如 |m 关 | 可 扩展 隐私 
Mik | 用 户 能 够 连接 | 用 户 可 以 定制 | 提供 工具 让 管理 | 用 户 可 以 用 | 向 应 用 提供 好 友 | 只 向 被 批准 、 
他 的 朋友 | 个 人 资料 ， 使 | 好 友 变 得 轻松 | 相关 性 规则 | 数据 拥有 恰当 访问 
自己 与 众 不 同 过 滤 好 友 权限 的 应 用 提 
供 信息 
信息 流 | 向 用 户 提示 其 用 户 可 以 根 | 向 应 用 提供 信息 
好 友 的 更 新 据 兴趣 过 滤 | 流 
好 友 更 新 
BTO | 将 好 友 分 组 。 | 根据 用 户 的 语 | 鼓励 创建 和 修改 向 应 用 提供 圈子 
境 创建 新 轿子 | 轿子 数据 
通知 简明 地 展示 通知 向 应 用 提供 通知 
数据 
视频 群 聊 | 用 户 可 以 邀请 | 加 入 群 陨 前 ， | 只 要 几 次 点 击 就 用 户 可 以 在 群 聊 | 只 有 被 邀请 的 
他 们 的 圈子 加 | 用 户 可 以 预览 | 可 以 创建 并 加 入 中 使 用 文字 交流 。| 用 户 才能 加 入 
ABE. EA | 自己 的 形象 ”| 群 聊 。 只 要 一 次 YouTube 视 频 可 | PEM. RAH 
可 以 公开 其 群 点 击 就 可 以 关闭 DiMA REM. 在 | 邀请 的 用 户 才 
聊 。 好 友 访 问 视频 和 音频 输 “设置 ”中 可 以 配 | secs REM 
用 户 的 信息 流 入 。 可 将 好 友 加 置 群 巴 的 硬件 , 没 | 知 
时 ， 他 们 被 告 入 已 有 的 群 聊 有 摄像 头 的 用 户 
Ha 可 以 音频 交谈 
帖子 表达 用 户 的 想 向 应 用 提供 帖子 | 帖子 只 向 被 批 
法 3 准 的 用 户 公布 
评论 用 评论 表达 用 向 应 用 提供 评论 | 评论 只 向 被 批 
户 的 想法 数据 准 的 用 户 公布 
ee | 用 户 可 以 分 享 用 户 能 方便 地 上 与 其 他 照片 服务 | 照片 只 向 被 批 
照片 传 照片 。 用 户 能 集成 准 的 用 户 公布 


能 力 通常 是 面向 用 户 的 ， 反 映 了 用 户 视角 的 产 


方便 地 从 民 
源 导入 照片 


他 来 


[E Ey am 


aní T 


为 。 测 试 人 员 也 要 保持 能 力矩 阵 的 简洁 ， 


他 们 应 该 关注 对 用 户 而 言 最 有 价值 、 最 有 吸引 力 的 能 力 ， 并 在 合适 的 抽象 层次 阐述 能 力 。 最 重要 


的 是 ， 能 力 应 该 是 可 测 的 ， 测试 人 


O Ak 
J HE 


够 设计 测试 来 检查 产品 实现 了 预期 的 能 力 。 


有 了 能 力矩 阵 ， 测 试 团队 就 完成 初始 的 测试 计划 。 前 Google 测 试 总 监 James Whittaker 称 之 为 
核心 功能 和 核心 能 力 ,省 略 一 


“10 分 钟 测试 计划 ”[Whittaker11]。 其 基本 思路 是 专注 于 核心 属性 、 
切 不 必要 的 细节 。 之 后 , 测试 团队 会 利用 和 矩阵 去 指导 测试 设计 , 通常 矩阵 中 的 一 


测试 对 象 、 测 试 策略 或 测试 情景 ， 而 复杂 的 能 力 会 演化 出 更 多 的 测试 设计 。 
Google 所 提供 的 开源 Web 应 用 可 以 分 析 项 目 信息 ， 包 括 测 试用 例 、 代 码 变更 、 产 品 缺陷 等 ， 


以 确定 能 
片 [Whittaker10]， 是 Chrome OS 的 能 力矩 阵 的 热点 


条 能 力 对 应 一 个 


力 和 矩阵 中 的 高 风险 区 域 。 图 3-6 引 用 自 James Whittaker 在 GTAC 2010? 的 闭幕 演讲 的 幻灯 


O 5th Annual Google Test Automation Conference, Hyderabad 2010, http://sites.gtac.biz/gtac2010/. 
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图 。 网 中 绿色 表示 低 风 险 区 域 ， 红 色 表 示 高 风 
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险 区 域 ， 粉 红色 和 橙色 则 表示 风险 居于 前 两 者 之 间 。 测 试 人 员 可 以 根据 热点 图 , 更 好 地 确定 测试 
优先 级 ， 将 有 限 的 资源 运用 在 最 需要 的 地 方 。 


È 


m 


快速 简单 安排 不 锈 (Rust-Free) ”开源 


文件 浏览 器 
固件 


音频 /视频 绿色 


平台 m 红 色 
连通 性 粉红 色 
桌面 UI E ee 


13-6 Chrome OS 的 热点 图 


许多 团队 的 风险 分 析 依 赖 于 测试 人 员 的 经 验 和 猜测 , Google 的 ACC 工 具 则 通过 分 析 项 目 元 素 
(测试 用 例 、 代 码 变更 、 产 品 缺 陷 等 ) 来 识别 风险 。 即 便 不 使 用 Google 的 工具 ， 测试 人 员 也 可 以 
利用 电子 表格 记录 能 力矩 阵 ， 并 自行 计算 各 个 条 目的 风险 ( 一些 Google 的 测试 人 员 也 是 这 么 做 
的 )。 在 评估 风险 时 ， 他 可 以 考虑 以 下 因素 ( 更 多 讨论 参见 第 8 章 )。 


口 自动 化 测试 用 例 : 该 区 域 有 自动 化 测试 用 例 吗 ? 测试 在 定期 运行 吗 ? 测试 通过 率 是 多 
少 ? 测 试用 例 覆 盖 了 哪些 方面 ， 没 有 覆盖 哪些 方面 ? 
口 手动 测试 : 有 人 手动 测试 该 区 域 吗 ?经 过 测试 ， 他 们 对 该 区 域 有 信心 吗 ” 如 果 满 分 是 10 
分 ， 他 们 会 打 几 分 ? 

口 代码 变更 : 该 区 域 近 期 存在 代码 变更 吗 ? 变更 频繁 吗 ? 变更 是 新 增 功能 、 代 码 重 构 、 还 


是 缺陷 修复 ? 
O 代码 复杂 度 : 代码 的 规模 是 多 少 ? 代码 是 否 复杂 ? 如 果 复 杂 度 的 满分 是 10 分 ， 该 区 域 的 
代码 能 得 几 分 ? 


O 产品 缺陷 : 该 区 域 的 缺陷 多 吗 ? 有 哪些 典型 缺陷 ? 哪些 缺陷 已 经 被 修复 ”哪些 缺陷 还 没 
有 被 修复 ? 活跃 的 缺陷 是 在 快速 增加 还 是 稳步 下 降 ? 


在 计算 此 类 风险 因素 时 , 测试 人 员 可 以 采用 尽 可 能 简单 的 度量 方法 。 一 方面 , 简单 的 方法 更 
容易 解释 度量 值 的 含义 ， 有 助 于 针对 度量 值 采 取 相 应 的 行动 。 男 一 方面 , 复杂 的 方法 增 大 了 分 析 
的 难度 , 却 往往 不 能 提供 更 多 的 收益 。 通 过 测试 去 获得 直接 的 反馈 ,并 定期 重新 评估 风险 ， 是 更 
注重 实效 的 方法 。 这 也 符合 ACC 的 风格 : 快速 地 前 进 、 持 续 地 帮 代 。 在 测试 计划 时 ,测试 人 员 只 
要 快速 地 确定 能 力矩 阵 ， 而 不 必 担 心 遗漏 。 随 着 测试 的 进展 ， 他 会 对 和 矩阵 作出 必要 的 调整 ， 以 优 
化 测试 的 价值 。 
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3.2.3 测试 设计 规约 


测试 设计 规约 记录 了 测试 人 员 的 测试 设计 。 其 内 容 和 形式 往往 由 测试 小 组 决定 , 许多 测试 小 
组 还 制定 了 相应 的 文档 模板 。 本 节 介 绍 一 些 测试 设计 规约 的 编写 技巧 ， 供 测试 人 员 参 考 。 


第 一 ， 测 试 设 计 规 约 是 一 个 “容器 ”， 可 以 容纳 各 种 测试 模型 和 资料 。 本 章 所 介绍 的 测试 文 
档 ， 如 功能 列表 、 思 维 导 图 、Google ACC 等 ， 都 可 以 纳入 同一 份 测试 设计 规约 ， 以 便 从 不 同 角 
度 、 不 同 层面 来 描述 测试 设计 。 


测试 人 员 应 该 用 最 直观 、 最 方便 的 形式 表达 测试 设计 。 对 于 某 些 测试 设计 ， 符 号 列表 ( 和 思 
维 导 图 ) 的 层次 结构 很 方便 ;对 于 男 一 些 设计 ， 表 格 ( 如 Google ACC 的 能 力矩 阵 ) 所 提供 的 二 
维 结构 就 很 直观 ; 在 某 些 情况 下 ，UML 等 图 形 化 的 表达 更 有 表现 力 。 可 见 ， 并 不 存在 普遍 适用 
的 测试 记录 方式 ,测试 人 员 需 要 用 不 同 的 方式 记录 不 同 的 测试 设计 。 作 为 测试 设计 的 主要 载体 ， 
测试 设计 规约 需要 容纳 多 样 化 的 测试 表达 ， 也 可 以 用 链接 指向 相关 测试 文档 。 


第 二 ,测试 人 员 需 要 建立 测试 设计 的 框架 。 首 先 , 他 要 列举 测试 类 型 ,例如 功能 测试 、 安 全 
测试 、 性 能 测试 、 易 用 性 测试 等 。 然 后 ， 针 对 测试 类 型 ， 列 出 主要 测试 想法 ,例如 图 3-3 的 功能 
列表 ( 和 图 3-4 的 思维 导 图 ) 列举 了 图 片 功 能 测试 的 主干 和 分 支 。 


清晰 的 框架 让 测试 人 员 和 评审 者 在 整体 上 把 握 测 试 设计 , 知晓 测试 所 覆盖 的 范围 。 如 果 设 计 
遗漏 了 某 种 测试 类 型 , 评审 者 能 够 快速 发 现 该 问题 , 并 提出 改进 意见 。 此 外 , 在 测试 学 习 、 设 计 、 
执行 、 评 估 的 迭代 中 , 测试 人 员 会 逐渐 掌握 更 多 的 软件 和 测试 知识 。 开 放 性 的 框架 提供 了 可 扩展 
的 结构 ， 方 便 测 试 人 员 补充 测试 想法 ， 增 强 整体 测试 设计 。 


第 三 , 测试 想法 优 于 测试 用 例 。 测试 用 例 详细 地 记录 了 测试 设计 , 包括 测试 环境 、 执 行 步 又、 
检查 方法 、 预 期 结果 等 。 在 软件 项 目 中 , 测试 人 员 会 执行 许多 测试 用 例 , 有 些 测 试用 例 往往 只 运 
行 一 次 ,详细 地 记录 所 有 测试 用 例 将 占用 过 多 的 项 目 时 间 ， 压缩 了 实际 测试 的 时 间 。 而 且 ， 随 着 
项 目的 发 展 , 软件 设计 常常 会 发 生变 动 ， 这 导致 许多 测试 用 例 不 再 有 效 。 详 细 地 记录 测试 用 例 势 
必 导 致 沉重 的 文档 维护 任务 。 在 进度 压力 下 , 一 些 测试 人 员 选 择 不 再 维护 文档 ,而 逐渐 过 时 的 文 
档 最 终 会 被 遗弃 。 


为 了 降低 编写 和 维护 测试 设计 的 代价 , 我 建议 测试 人 员 优 先 记录 测试 想法 ,只 在 必要 时 添加 
详细 描述 。 例 如 ， 必 应 词典 容 户 端 从 服务 端 获 得 单词 的 中 文 解释 ， 服 务 端 所 返回 的 是 一 份 XML 
文档 。 针 对 服务 端 可 能 返回 错误 的 XML 文 档 ， 测试 人 员 可 以 记录 如 下 测试 想法 。 

O 服务 器 宕 机 ， 没 有 返回 任何 消息 。 

口 服务 端 返回 的 字符 串 不 是 XML 文 档 。 

口 服务 端 返回 的 字符 串 是 XML 文档 ， 但 是 该 XML 文档 不 符合 必 应 词典 所 定义 的 XML 
Schema。 
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口 服务 端 返 回 的 XML 文档 符合 预定 义 的 XML Schema, 但 是 该 文档 包含 错误 。 重点 考虑 的 错 
be: 单词 的 中 文 解释 为 空 字符 串 、 单 词 的 中 文 解释 包含 非法 字符 、 单 词 的 中 文 解释 超 长 。 
口 如 果 有 恶意 网 站 伪装 成 必 应 词典 服务 端 向 客户 短发 送 恶 意 XMI 文 档 , 客户 端 能 否 妥善 处 理 ? 


这 些 测 试想 法 没有 记录 测试 环境 、 执 行 步 又 、 检 查 方法 和 预期 结果 等 如 何 测试 的 信息 ， 只 简 
要 地 描述 了 测试 动机 (检查 必 应 词典 可 以 处 理 服务 端的 错误 ) 和 测试 内 容 。 这 让 测试 人 员 用 较 短 
的 时 间 记 录 更 多 的 测试 设计 ,也 简化 了 测试 评审 的 工作 。 在 测试 迭代 中 , 测试 人 员 可 以 补充 新 的 
测试 想法 ， 也 可 以 加 入 一 些 如 何 测 试 的 细节 ， 让 测试 过 程 产 生 有 价值 的 文档 。 


第 四 ,合理 地 使 用 文档 模板 。 许 多 团队 都 提供 了 测试 设计 规约 的 文档 模板 , 许多 测试 人 员 也 
希望 获得 模板 来 简化 文档 工作 。 不过, 模板 只 是 产生 文档 的 工具 ， 它 不 能 取代 思考 和 交流 。 如 果 
根据 模板 亦 步 亦 趋 地 填写 其 中 的 空白 , 测试 人 员 可 能 被 它 束 缚 了 思路 ， 所 产生 的 文档 “看 上 去 很 
好 ”， 但 是 缺乏 多 样 性 的 测试 想法 。 


为 了 更 好 地 设计 测试 , 一 些 测试 人 员 在 设计 之 初 并 不 使 用 模板 , 而 是 将 测试 想法 写 在 白 纸 或 
空白 文档 中 [Kelly11a][Kelly11b]。 他 们 尽 可 能 记录 各 种 测试 想法 , 而 不 考虑 记录 格式 或 其 他 约束 。 
当 大 部 分 测试 设计 完成 后 , 他 们 将 测试 设计 移 和 人 模板, 以 获得 符合 项 目 要 求 的 文档 。 在 此 过 程 中 ， 
他 们 用 模板 去 检查 测试 设计 的 完整 性 ， 并 补充 之 前 遗漏 的 测试 想法 。 


3.2.4 功能 列表 


3.1.3 节 以 PowerPoint 的 图 片 功能 为 案例 ， 介 绍 了 功能 列表 。 这 是 一 种 功能 测试 的 建 模 方法 ， 
通过 将 产品 的 功能 分 解 为 层次 结构 ， 为 功能 覆盖 提供 指导 。 


功能 列表 与 漫游 测试 可 以 相互 支持 。 漫 游 测试 是 一 组 以 漫游 隐喻 为 核心 的 测试 方法 区 anerl1] 
( 5.4 节 将 详细 讨论 漫游 测试 )。 在 应 用 漫游 测试 时 ， 测 试 人 员 常常 会 游历 被 测 产品 的 功能 、 结 构 
和 数据 ， 并 运用 他 的 技能 和 经 验 去 发 掘 产品 的 缺陷 。 


一 方面 ， 功 能 列表 为 功能 漫游 提供 了 有 益 的 信息 。 它 像 一 幅 地 图 ， 既 描绘 了 产品 的 概况 ,又 
提供 了 必要 的 细节 ， 为 探索 者 提供 了 指南 与 参考 。 测 试 人 员 可 以 漫游 功能 列表 上 的 所 有 元 素 ， 以 
实施 全 面 探索 ; 也 可 以 选择 遍历 某 个 功能 子 集 ， 以 实施 专项 测试 。 


在 男 一 方面 ,倘若 测试 人 员 不 了 解 被 测 产品 , 他 可 以 通过 功能 漫游 来 建立 功能 列表 。 从 这 个 
角度 ， 漫 游 的 过 程 就 是 测试 建 模 的 过 程 ， 功 能 列表 就 是 测试 建 模 的 产 出 。 测 试 专家 Cem Kaner 建 
议 ， 在 软件 尚 不 成 熟 时 ,测试 人 员 应 该 同情 地 测试 [Kaner01] 。 此 时 ， 测 试 的 目的 不 是 发 现 所 有 
缺陷 , 而 是 建立 测试 模型 , 发 现 风险 区 域 , 为 今后 的 测试 奠定 基础 。 对 此 , 测试 专家 Michael Bolton 
有 一 番 精 彩 的 论述 :“ 同 情 地 测试 非常 重要 ,一 些 测试 人 员 会 忍 不 住 全 力 寻 找 缺 陷 。 但 是 Jon Bach” 


O Jon Bach 和 James Bach 是 兄弟 ， 他 们 都 是 知名 的 测试 专家 。 
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说 在 探索 式 测试 的 早期 , 要 通过 测试 来 发 现 产 品 的 优点 。 我 觉得 这 很 奇怪 , 他 指出 ， 如 果 只 是 寻 
找 并 记录 缺陷 ， 就 不 能 专注 地 漫游 产品 并 构建 产品 的 模型 ， 我 才 悦 然 大 悟 。” [区 anerl1] 


则 试 人 员 需 要 建立 产品 的 大 局 观 ， 同 时 掌握 产品 的 优点 、 缺 点 、 概 念 模型 和 实现 逻辑 。 漫 游 
测试 是 很 好 的 学 习 过 程 ， 功 能 列表 是 一 个 有 益 的 学 习 成 果 。 


在 测试 设计 与 执行 时 , 测试 人 员 可 以 将 功能 列表 视 作 和 覆盖 率 指南 。 他 逐个 检查 每 个 功能 ， 阅 
读 相关 的 测试 想法 ， 从 而 产生 新 的 测试 想法 。 在 此 过 程 ， 他 可 以 自问 : 


口 该 功能 与 当前 测试 任务 相关 吗 ? 

口 该 功能 存在 什么 风险 ? 可 能 会 有 什么 缺陷 ? 

口 通过 什么 测试 可 以 发 现 这 些 缺 陷 ? 

O 在 上 次 测试 中 , 该 功能 表现 如 何 ? 已 有 的 测试 想法 , 哪些 值得 再 次 尝试 ?哪些 不 必 再 测 ? 
O 依据 当前 的 进度 和 资源 ， 如 何 实施 这 些 测试 ? 

O 功能 列表 是 和 否 充分 ”有 没有 漏 掉 一 些 功能 ? 


另 一 种 更 有 效 的 方法 是 综合 功能 列表 中 的 多 个 元 素 ,来 测试 功能 的 协作 。 随 着 产品 逐渐 成 熟 ， 
隐蔽 的 缺陷 往往 存在 于 功能 的 组 合 ， 暴 露 于 复杂 的 流程 。 这 要 求 测试 人 员 综合 多 方面 的 信息 , 来 
更 深入 、 更 多 样 地 测试 系统 。 当 测试 人 员 考 虑 功能 的 组 合 时 ， 他 可 以 自问 : 
口 该 功能 与 哪些 功能 相关 ? 
口 功能 的 组 合 有 没有 揭示 出 新 的 风险 ? 可 能 会 有 什么 缺陷 ? 
口 哪些 功能 访问 同一 批 数据 ? 哪些 是 生产 者 ? 哪些 是 消费 者 ? 
口 如 何 设计 测试 来 同时 测试 这 些 功 能 ? 
口 如 何 构造 一 个 有 意义 的 业务 流程 ， 让 它 能 够 访问 尽 可 能 多 的 功能 与 数据 ? 
口 对 于 相互 依赖 的 功能 ， 某 个 功能 的 失败 是 否 对 其 他 功能 造成 恶劣 影响 ? 
在 回归 测试 时 ， 功 能 列表 是 很 好 的 参考 。 例 如 ， 测试 人 员 可 以 按 如 下 测试 策略 对 PowerPoint 
的 图 片 功 能 ( 如 图 3-3 所 示 ) 进行 回归 测试 。 
(1) 新 建 一 个 PowerPoint 文 档 。 
(2) 向 文档 中 插入 图 片 。 
n 履 盖 所 有 支持 的 图 片 格式 。 
a 覆盖 典型 的 图 片 太 十 。 
n 被 盖 来 自 单反 相机 的 大 型 图 片 。 


(3) 操作 文档 中 的 图 片 。 
a fim “ARTA” FMA. 
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n 用 一 个 命令 修改 图 片 。 
n 用 多 个 命令 修改 图 片 。 
a 保持 一 些 图 片 不 被 修改 。 


(4) 应 用 文档 中 的 图 片 。 

a 将 图 片 与 其 他 元 素 组 合 使 用 。 

mw 窗 盖 文本 杠 、 形 状 、SmartArt、 图 表 、 日 期 与 时 间 等 元 素 。 
(5) 将 文档 中 的 元 素 导出 为 图 片 。 


e 覆盖 所 有 可 以 被 输出 的 元 素 : 页 面 、 图 片 、 形 状 、SmartArt、 图 表 等 。 

a 禾 盖 所 有 支持 的 图 片 格式 。 

n 覆盖 相关 的 用 户 界 面 命令 : 上 下 文 菜 单 ( 即 右键 弹出 菜单 )、Backstage ( 点 击 “ 文 件 ” 
一 “导出 ”一 “改变 文件 类 型 ” )、 复 制 粘贴 到 画图 板 。 

m 覆盖 相关 的 Visual Basic Application 对 象 模型 。 


(6) 打印 该 文档 。 


m 打印 到 黑白 打印 机 。 
m 打印 到 彩色 打印 机 。 
m 打印 到 PDF 文档 。 
m 打印 到 XPS 文 档 。 


(7) 保存 该 文档 并 重新 打开 。 


a 男 存 为 所 有 支持 的 格式 。 
m 用 PowerPoint 打 开 生 成 的 文档 。 
a 用 旧版 本 PowerPoint 打 开 生 成 的 文档 。 


利用 该 测试 策略 , 测试 人 员 可 以 用 一 个 很 长 的 流程 覆盖 大 多 数 的 图 片 功能 , 不 但 测试 了 图 片 
与 其 他 功能 的 组 合 , 还 测试 了 程序 的 稳定 性 和 资源 占用 。 测 试 结 束 时 ,测试 人 员 可 以 获得 一 个 大 
型 的 PowerPoint 文 档 ， 它 包含 各 种 图 片 和 元 素 ， 为 今后 的 回归 测试 提供 良好 的 测试 数据 。 


3.25 大纲 与 思维 导 图 

功能 列表 用 层次 结构 表达 软件 的 功能 。 与 之 类 似 ， 测 试 人 员 可 以 用 层次 结构 组 织 测试 想法 ， 
使 得 测试 想法 的 分 类 关系 一 目 了 然 。 

我 习惯 用 大 纲 来 记录 测试 想法 。 在 文档 编辑 咒 〈 如 Microsoft Word) 中 ， 符 号 列表 、 编 号 列 
表 和 多 级 列表 都 可 以 方便 地 编写 和 修改 测试 想法 的 大 纲 。 
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此 外 ， 许 多 测试 人 员 喜 欢 用 思维 导 图 来 记录 测试 想法 ， 也 获得 了 很 好 的 效果 。 图 3-7 是 测试 
专家 Darren McMillan 制 作 的 思维 导 图 形式 的 测试 计划 [McMillan11]。 限 于 篇 幅 ， 该 图 仅 呈 现 了 原 
测试 计划 的 局 部 ?， 但 仍旧 可 以 看 出 思维 导 图 的 一 些 重要 特点 。 


© Consult 


© Single Step Transfer © Currently only an API provided 


k Agent to agent 


© Requirements Testing = 


© Functional © Genesys 
{Ox 
© Detailed 


Testlink Test Cases 


Use Cases 


| 
| 
| 
| Requirements Testing 


图 3-7 ”功能 测试 的 思维 导 图 ( 局 部 ) 


口 与 大 纲 一 样 ， 思 维 导 图 提供 了 清晰 的 层次 结构 。 沿 着 图 中 线条 ， 某 个 想法 衍生 出 更 具体 
的 想法 ， 而 这 批 想法 又 继续 衍生 出 更 细致 的 想法 。 这 种 清晰 的 结构 让 测试 人 员 方 便 地 把 
握 测试 想法 的 分 类 与 层次 。 

口 思维 导 图 用 词语 来 记录 测试 设计 ， 这 使 测试 人 员 专 注 于 思考 。 由 于 无 需 写 下 不 必要 的 细 

节 ， 测 试 人 员 可 以 用 较 短 的 时 间 记 录 大 量 的 测试 想法 。 当 测试 人 员 快 速 思考 、 积 极 联想 

时 ， 他 能 够 获得 多 样 化 的 测试 设计 。 

O 图 3-7 的 “需求 测试 ”拥有 一 个 注释 ， 它 包含 更 详细 的 测试 设计 。 有 时 ， 词 语 或 短 句 并 不 

能 很 好 地 传递 测试 想法 ， 必 要 的 注释 能 够 进一步 解释 测试 思路 ， 消 除 误解 。 在 这 一 点 上 ， 

电子 的 思维 导 图 既 保 留 了 传统 的 思维 导 图 的 简洁 ， 又 拥有 更 丰富 的 信息 。 

与 大 纲 相 比 ， 思 维 导 图 更 “ 引 人 注 目 ”。 图 3-7 使 用 了 形状 、 线 条 、 颜 色 、 维 度 、 质 地 等 视 

觉 元 素 ， 它 们 激发 了 大 脑 的 兴趣 ， 这 是 单纯 的 文字 列表 难以 做 到 的 。 当 测试 人 员 对 一 幅 

图 感 兴趣 时 ， 他 会 更 积极 地 思考 ， 从 而 产生 更 多 的 想法 。 这 对 于 测试 计划 的 编写 、 评 审 、 

修订 都 有 促进 作用 。 

思维 导 图 可 以 使 用 颜色 、 标 号 等 视觉 元 素来 表达 语义 ， 这 提高 了 信息 传达 的 效率 。 如 图 
3-7 所 示 用 红色 的 DDD、 黄色 的 四、 蓝 色 的 @@ 表 示 测 试想 法 的 优先 级 ， 使 得 测试 优先 级 一 目 
了 然 。 

口 大 纲 和 思维 导 图 都 误 励 测试 人 员 扩 展 已 有 的 结构 ， 持 续 地 加 入 想法 。 经 过 一 段 时 间 的 努 
力 ， 测 试 人 员 可 以 积累 一 大 批 相互 关联 的 测试 想法 。 此 时 ， 大 纲 的 呈现 会 遇 到 一 定 的 困 
难 。 对 比 图 3-3 的 大 纲 和 图 3-4 的 思维 导 图 可 知 ， 对 于 数量 相同 的 测试 想法 ,大 纲 的 长 度 更 


口 


口 


D 完整 的 思维 导 图 : http://www.bettertesting.co.uk/content/?p=956。 此 外 ，ministryoftesting.com 也 提供 了 许多 软件 测 
试 的 思维 导 图 。 
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长 ， 这 使 得 同一 层次 的 测试 想法 在 视觉 卜 离 ， 且 没有 充分 利用 屏幕 的 宽度 。 反 观 思维 
导 图 ， 其 结构 更 紧 竣 ， 随 着 想法 的 加 入 ， 它 向 两 侧 延 伸 ， 更 好 地 利用 了 屏幕 的 宽度 。 随 
着 宽屏 显示 需 的 普及 ， 思 维 导 图 在 排版 上 的 优势 更 明显 。 


除了 测试 计划 和 设计 , 测试 人 员 还 可 以 将 思维 导 图 应 用 于 测试 报告 、 信 息 组 织 、 自 我 管理 等 
领域 [McMillan11]。 作 为 一 款 思 维 辅助 工具 ， 其 应 用 领域 几乎 是 无 限 的 。 


a3 


3.2.6 eth GERE) 


在 测试 设计 中 , 表格 适合 表达 两 个 变量 之 间 的 关系 或 两 个 变量 共同 作用 的 结果 。 例如, 表 3-2 
从 软件 能 力 的 角度 表达 了 属性 与 部 件 的 关系 。 又 例如 ， 表 3-3 是 浏览 需 兼 容 性 测试 的 配置 矩阵 ， 
所 记录 的 测试 结果 可 以 看 作 是 浏览 需 X 与 功能 Y 共 同 作用 的 结果 。 


表 3-3 ”浏览 器 兼容 性 测试 的 配置 矩阵 
桌面 IE 10 沉浸 式 IE 10 IE 9 IE 8 Firefox Chrome 
功能 1 vV vV vV vV vV vV 
功能 2 Vv Bugl, Bug2 vV V Bug3 Bug4 
功能 3 Vv Vv a v Vv v 


在 测试 设计 时 ， 测 试 人 员 用 表 3-3 规 划 即 将 实施 的 测试 ， 佑 算 完 成 全 部 测试 需要 的 时 间 。 在 
表格 下 方 , 他 可 以 记录 每 个 功能 的 测试 想法 , 这 些 想 法 可 以 在 多 个 浏览 器 中 复 用 。 在 测试 执行 时 ， 
他 可 以 在 表 中 记录 测试 结果 ， 例 如 所 发 现 缺陷 的 ID。 在 测试 完成 后 ， 他 对 表格 稍 作 整理 ,将 其 作 
为 测试 总 结 报告 的 一 部 分 发 送 给 测试 经 理 。 测 试 经 理 可 以 很 直观 地 了 解 测试 情况 , 包括 哪些 功能 
还 需 修复 、 哪 些 浏览 器 的 支持 还 需 增 强 。 


表格 还 适合 比较 数据 ， 这 在 性 能 测试 中 尤为 常见 。 例如, 测试 人 员 为 了 比较 软件 的 两 个 版 本 
之 间 的 性 能 差异 , 设计 了 性 能 测试 表 ( 见 表 3-4 )。 该 表格 测试 了 两 个 操作 在 不 同 数据 集 下 的 耗 时 。 
测试 完成 后 , 测试 人 员 可 以 用 电子 表格 软件 的 “条 件 格 式 ” 功 能 ,使 数据 单元 格 中 出 现 反映 数值 
大 小 的 数据 条 。 这 使 得 表格 可 以 直观 地 显示 两 个 版 本 的 性 能 差异 。 此 外 , 他 可 以 生成 该 表格 的 数 
据 图 ( 见 图 3-8 )， 从 而 可 视 化 地 分 析 数 据 。 


表 3-4 ”性 能 测试 的 数据 表 


数据 集 1 数据 集 2 数据 集 3 
操作 1 版 本 1 10 11 9 
版 本 2 9 8 7 
操作 2 版 本 1 21 22 19 
版 本 2 17 17 16 
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版 本 1 与 版 本 2 的 性 能 比较 


数据 集 1 数据 集 2 数据 集 3 


旧版 本 1 旧版 本 2 和 版 本 1 号 版 本 2 


图 3-8 ”性 能 测试 的 数据 图 


此 外 ， 表 格 还 常用 于 表达 业务 规则 。 著 名 的 自动 化 测试 框架 Fit? 就 使 用 表格 记录 测试 用 例 。 
图 3-9 是 记录 在 HTML 文 件 中 的 Fit 表 格 ， 它 以 测试 用 例 的 形式 表达 了 发 放贷 款 的 业务 规则 
[Mugridge05]。 其 具体 含义 如 下 。 


O 表 头 CalculateCredit 对 应 了 一 个 夹具 。 一 个 夹具 就 是 一 段 测试 代码 ， 它 决定 了 如 何 解读 表 
格 的 数据 ， 并 调用 被 测 对 象 。 

O 表格 的 第 二 行 〈 标 题 行 )， 标 注 了 贷款 发 放 的 输入 值 和 预期 结果 ， 其 中 months reliable, 
balance 是 输入 列 ，allow credit0 和 credit limit0 是 预期 结果 列 。 

O 表格 的 数据 行 记录 了 具体 的 测试 用 例 ， 例 如 表格 的 第 三 行 就 明确 陈述 : 当 months=14， 
reliable=true, balance = $000.00 时 ，allow credit0 应 该 为 tue，credit limit0 应 该 为 1000.00 ， 
翻译 为 自然 语言 就 是 “ 当 借贷 期 限 为 14 个 月 、 客 户 可 以 被 信赖 、 结 余 为 $000 元 时 ， 人 允许 
借贷 且 借 贷 额度 为 1000 元 ”。 


= 
E) C:\Users\liangshi\Dest O ~ 0 || @ c.\Users\liangshi\Desk... X in vy § 


CalculateCredit A 


allow credit()|credit limit() 


= > 
v 


图 3-9 测试 “计算 贷款 ”的 Fit 表 格 


O http://fit.c2.com/. 
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在 设计 测试 时 , 测试 人 员 与 业务 人 员 一 起 工作 。 业 务 分 析 师 用 Fit 表 格 编写 测试 用 例 , 测试 人 
员 编 写 夹具 代码 ,并 帮助 业务 分 析 师 组 织 测 试用 例 ， 而 这 些 测 试用 例 阐 述 了 产品 的 业务 规则 。 在 
运行 测试 时 ，Fit 框 架 读 取 表 格 中 的 数据 ， 调 用 表格 指定 的 夹具 ， 传 人 输入 值 ， 并 检查 返回 结 
如 果 返 回 结果 符合 预期 结果 , 则 测试 通过 , 否则 测试 失败 。Fit 产 生 的 测试 报告 是 原 表 格 的 复制 版 ， 
测试 通过 的 预期 结果 单元 格 被 标记 为 绿色 ， 测 试 失 败 的 预期 结果 单元 格 被 标记 为 红色 。 


利用 Fit 表 格 , 测试 人 员 和 业务 分 析 师 能 够 紧密 合作 , 发 挥 各 自 的 技能 优势 ,实现 业务 规则 的 
自动 化 测试 。 而 且 ，Fit 表 格 是 对 需求 更 为 清晰 的 描述 方法 ,能够 帮助 程序 员 更 好 地 理解 系统 、 更 
快 地 测试 、 更 安全 地 重 构 代 码 [Mugridge05]。 所 以 ，Fit 并 不 是 一 款 单纯 的 测试 框架 ， 在 许多 开发 
者 眼中 它 是 业务 分 析 师 、 测 试 人 员 和 程序 员 的 协作 工具 。 

在 以 上 几 个 例子 中 , 表格 既是 测试 设计 的 产物 ， 又 是 测试 执行 和 测试 报告 的 工具 。 这 说 明 在 
实际 的 测试 工作 中 , 测试 计划 、 测 试 笔记 和 测试 报告 应 该 紧密 联系 。 在 一 些 情 况 下 ， 它 们 可 能 ; 
源 于 同一 份 文档 。 


3.2.7 ”测试 指南 


测试 指南 针对 特定 领域 , 阐述 被 测 对 象 的 特征 和 相应 的 测试 策略 ,帮助 测试 人 员 了 解 基本 的 
领域 知识 ,并 实施 有 和 针对 性 的 测试 。 测试 人 员 在 工作 中 积累 了 许多 技能 和 经 验 , 在 进入 一 个 新 领 
域 时 , 他 可 能 需要 一 些 帮助 ， 以 便 将 已 有 知识 应 用 在 新 的 测试 任务 中 。 一 份 好 的 测试 指南 能 够 让 
测试 人 员 快 速 上 手 ， 发 挥 他 已 有 的 技能 ， 并 避免 一 些 典 型 的 错误 。 


微软 在 Windows 8 中 引入 了 一 种 新 的 应 用 : Windows 8 应 用 (俗称 “Metro 应 用 ”)。 为 了 帮助 
开发 者 更 好 地 开发 和 测试 Windows 8 应 用 ， 微 软 Windows 团 队 发 布 了 一 篇 文章 Testing Metro style 
apps in Windows 8"。 这 篇 文章 可 以 看 作 一 篇 概括 性 的 测试 指南 ， 指 出 了 Windows 8 应 用 的 特点 和 
对 应 的 测试 策略 。 其 内 容 结构 如 下 [Sundaram12]。 


口 测试 应 用 的 激活 : 介绍 了 应 用 的 各 种 激活 方式 。 

口 测试 应 用 的 运行 : 这 是 文章 的 重点 , 介绍 了 多 个 Windows 8 应 用 的 特点 和 相应 的 测试 要 点 ， 
包括 动态 磁 贴 、 通 知 、 协 议 、 旋 转 、 触 摸 、 折 又 和 全 屏 视 图 、 不 同 的 屏幕 尺寸 、 数 据 漫 
游 、 传 感 器 、 错 误 处 理 等 。 

口 测试 应 用 的 挂 起 : 介绍 了 应 用 如 何 正确 地 挂 起 和 相应 的 测试 要 点 。 

口 测试 应 用 的 恢复 : 介绍 了 应 用 如 何 正确 地 恢复 和 相应 的 测试 要 点 。 

口 测试 应 用 的 终止 : 介绍 了 Windows 如 何 终止 应 用 和 相应 的 测试 要 点 。 

口 测试 应 用 在 不 运行 时 的 行为 : 在 主 程序 不 运行 的 情况 下 ，Windows 可 以 通过 动态 磁 贴 、 通 

知 、 后 台 任 务 来 执行 应 用 的 部 分 代码 。 该 小 节 介绍 了 相关 知识 和 测试 要 点 。 


© http://blogs.msdn.com/b/windowsappdev/archive/2012/07/12/testing-metro-style-apps-in-windows-8.aspx. 
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这 篇 测试 指南 以 应 用 的 状态 为 核心 ， 介 绍 了 Windows 8 应 用 所 特有 的 知识 ， 并 提供 了 针对 性 
很 强 的 测试 策略 。 读 完 这 篇 文章 ， 测试 人 员 可 以 掌握 Windows 8 应 用 的 基本 测试 知识 ， 从 而 更 有 
效 地 策划 对 自己 产品 的 测试 。 


除了 产品 之 外 ， 一些 专项 测试 也 需要 编写 测试 指南 。 例 如 ， 全 球 化 是 一 些 软件 的 重要 需求 ， 
它 会 全 面 地 影响 数据 存储 和 界面 展示 。 因 此 ,软件 的 大 多 数 功能 都 需要 考虑 全 球 化 需求 ,测试 小 
组 的 每 个 人 都 需要 考虑 全 球 化 测试 。 但 是 全 球 化 测试 是 一 个 专业 性 比较 强 的 领域 , 需要 较 多 的 知 
识 积累 才能 有 效 实施 。 为 此 , 测试 经 理 可 以 安排 一 名 测试 人 员 作为 全 球 化 测试 的 负责 人 , 让 他 次 
入 研究 该 领域 的 编程 和 测试 技术 ， 并 撰写 一 份 测试 指南 。 这 份 指南 提供 全 球 化 测试 的 基本 知识 、 
测试 方法 、 常 见 缺 陷 、 常 用 工具 、 参 考 资料 等 内 容 。 测 试 小 组 成 员 阅 读 这 份 文档 ,并 与 该 负责 人 
交流 ,从 而 针对 自己 负责 的 功能 设计 全 球 化 测试 。 在 交流 与 测试 的 过 程 中 , 负责 人 可 以 逐步 改进 
测试 指南 ， 使 它 更 符合 项 目的 特点 和 测试 的 需要 。 


3.2.8 测试 想法 列表 


测试 想法 列表 是 一 种 简化 的 测试 指南 , 列 出 了 一 组 测试 想法 ,帮助 测试 人 员 构 思 具 体 的 测试 。 
最 著名 的 例子 是 Quality Tree Software 发 布 的 测试 启发 式 方法 备 忘 单 "[QualityTree06]。 图 3-10 是 该 
备 忘 单 的 局 部 ， 提 供 了 一 些 数据 攻击 的 想法 ， 所 针对 的 数据 类 型 包括 路 径 与 文件 、 时 间 与 日 期 、 
数字 与 计算 。 该 备 忘 单 将 测试 想法 进行 了 分 类 , 测试 人 员 可 以 快速 找到 相关 的 测试 想法 。 每 一 个 
测试 想法 都 用 简单 的 词汇 、 短 语 或 实例 来 说 明 ， 测 试 人 员 能 够 快速 知晓 ， 立 即 应 用 。 


Data Type Attacks 
Paths/Files Long Name (>255 chars) * Special Characters in Name (space *?/\|<>,.()[]{}i:‘"! 
@ # $ %A &) "= Non-Existent * Already Exists = No Space * Minimal Space * Write- 
Protected " Unavailable = Locked = On Remote Machine " Corrupted 
Time and Date Timeouts * Time Difference between Machines = Crossing Time Zones = Leap Days * 
Always Invalid Days (Feb 30, Sept 31) = Feb 29 in Non-Leap Years " Different Formats 
Uune 5, 2001; 06/05/2001; 06/05/01; 06-05-01; 6/5/2001 12:34) = Daylight Savings 
Changeover " Reset Clock Backward or Forward 
Numbers 0 = 32768 (2'5) = 32769 (215 + 1) = 65536 (216) = 65537 (216 +1) = 2147483648 (23!) = 
2147483649 (23! + 1) = 4294967296 (232) = 4294967297 (232 + 1) = Scientific Notation 


(1E-16) = Negative = Floating Point/Decimal (0.0001) = With Commas (1,234,567) = 
European Style (1.234.567,89) = All the Above in Calculations 


图 3-10 测试 启发 式 方法 备 忘 单 〈 局 部 ) 


虽然 该 备 忘 单 不 可 能 穷尽 所 有 的 测试 想法 , 但 是 受到 许多 测试 人 员 的 肯定 。 其 根本 原因 是 它 
舍弃 了 所 有 修饰 , 用 最 简洁 和 直接 的 方式 提供 测试 灵感 , 在 很 短 的 篇 幅 内 提供 了 许多 有 价值 的 建 
议 。 此 外 ,其 简洁 的 形式 让 测试 人 员 可 以 随时 增加 测试 想法 。 随 着 测试 想法 的 补充 ,该 列表 会 拥 
有 更 多 的 领域 知识 ， 从 而 更 切合 当前 项 目 。 


O http://www.quality-testing.com/wp-content/uploads/2009/06/testheuristicscheatsheetv 1 .pdf. 
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另 一 个 典型 的 测试 想法 列表 是 The Test Eye 发 布 的 “37 个 测试 想法 来 源 ”[TheTestEye12]。 图 
3-11 是 根据 该 文档 生成 的 思维 导 图 ， 它 包 仿 项目、 产品、 关系 人 人、 业务、 团队 、 外 部 6 个 方面 ， 
共 37 个 测试 想法 的 信息 源 。 测 试 人 员 可 以 依次 考虑 每 个 信息 源 ， 从 中 获得 测试 灵感 或 行动 计划 。 
虽然 该 测试 想法 列表 比较 抽象 , 难以 直接 用 于 测试 执行 , 但 是 它 帮助 测试 人 员 从 多 个 角度 考虑 测 
试 ， 能 够 发 现 原 有 测试 设计 的 育 点 。 


项 目 背 景 
质量 标 ; 信息 对 象 
产品 恐惧 项 目 风险 
使 用 情景 一 | 关系 人 测试 资料 
领域 信息 > 项 目 | [债务 
用 户 交流 ] 
Go 语 境 分 析 
业务 对 象 a 交付 品 
产品 愿景 -一 | 业务 工具 
业务 知识 -> 测试 想法 来 源 能 力 
法 律 因素 天 败 模式 
创意 想法 模型 
内 部 资料 一 | 团队 数据 
你 自己 = & 
公开 资料 D s) 
标 ? Pen 小 道 信息 
参考 资料 实际 软件 
[搜索 技术 


ik 
Ea 
让 


图 3-11 37 个 测试 想法 来 源 


此 外 ， 测 试 专家 Rikard Edgren 发 布 的 免费 电子 书 The Little Black Book on Test Designit T 
他 收集 整理 的 大 量 测试 想法 [Edgren11]， 也 很 值得 测试 人 员 参 考 。 


3.2.9 ”质量 特性 列表 
质量 特性 列表 记录 了 软件 需要 考虑 的 质量 因素 。 它 帮助 测试 人 员 识 别 出 产 品 需要 支持 的 质量 


© http://thetesteye.com/blog/2011/09/the-little-black-book-on-test-design/。 
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素 ， 从 而 为 进一步 的 测试 设计 提供 线索 。 


质量 特性 列表 的 典型 例子 是 The Test Eye 发 布 的 软件 质量 特性 集 "[TheTestEyel1]。 图 3-12 展 示 


了 该 文档 的 结构 ， 其 主要 质量 特性 包括 : 能 力 、 可 靠 性 、 


可 用 性 、 魅 力 、 安 全 性 、 性 能 、IT 能 


兼容 性 、 可 支持 性 、 可 测 性 、 可 维护 性 、 可 移植 性 。 每 个 主要 质量 特性 进一步 细 分 为 具体 的 质量 


特性 ， 限 于 篇 幅 ， 图 3-12 只 展示 了 能 力 和 性 能 的 具体 质量 特性 。 


容量 
响应 度 完整 
可 过 性 | | 性 能 准确 性 
反馈 ab 力 高 效 性 
可 伸缩 性 es | 订 交 互 性 
IT 能 = = z 
ar nÆ p i 
RENE 可 靠 性 
可 支持 性 a Ate 
可 测 性 魅力 
4i 1] 
可 维护 性 ae 
可 移植 性 


图 3-12 ”软件 质量 特 怕 


EGE 


在 使 用 该 质量 特性 列表 时 , 测试 人 员 需 要 根据 项 目 情 况 对 其 进行 修订 。 可 以 删 去 一 些 与 产品 


无 关 的 质量 特性 ,补充 一 些 与 产品 相关 的 质量 特性 ， 从 而 获得 一 份 针对 性 更 强 的 列表 。 利 用 定制 


的 质量 特性 列表 ,检查 现 有 的 测试 设计 。 如 果 有 茶 个 质量 特性 没有 被 仔细 测试 ， 就 需要 设计 新 的 
测试 策略 来 覆盖 该 特性 。 从 这 个 角度 ,质量 特性 列表 是 一 种 测试 覆盖 率 检查 工具 , 它 帮 助 测试 人 


员 发 现 测试 设计 的 不 足 ， 并 提示 新 的 测试 策略 。 


3.2.10 “操作 文档 


测试 是 一 项 技术 性 很 强 的 工作 ， 有 些 任务 可 能 很 复杂 ,对 于 新 人 尤其 困难 。 例 如 ,我 参与 过 


一 个 项 目 , 被 测 产品 是 一 个 由 多 个 网 络 服务 构成 的 系统 。 


测试 小 组 使 用 一 组 虚拟 机 模板 创建 虚拟 


机 ,在 虚拟 机 上 安装 不 同 的 服务 ， 然 后 将 多 个 虚拟 机 组 成 测试 环境 。 为 了 搭建 一 个 测试 环境 ， 测 


试 人 员 需 要 知晓 使 用 哪些 模板 、 创 建 何 种 角色 的 虚拟 机 、 


在 特定 角色 的 虚拟 机 上 安装 哪些 服务 、 


在 哪 台 机 器 上 运行 测试 、 自 动 化 测试 的 配置 文件 如 何 编 写 等 信息 。 对 于 一 个 刚 加 入 项 目的 测试 人 


员 而 言 ， 即 便 他 拥有 丰富 的 测试 经 验 , 也 很 难 独自 搭建 一 个 最 典型 的 测试 环境 。 这 阻碍 了 他 的 日 


常 工作 ， 令 他 受挫 。 


© http://thetesteye.com/posters/TheTestEye_SoftwareQualityCharacteristics.pdf, 
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为 了 帮助 测试 人 员 完 成 任务 ， 测 试 小 组 可 以 编写 一 批 操 作文 档 "。 每 个 文档 针对 一 个 常见 的 
任务 ,用 文字 描 述 、 屏 幕 截 图 等 方式 记录 操作 步 又 ,使 得 测试 人 员 可 以 按照 指令 完成 任务 。 常 见 
的 操作 文档 涉及 安装 被 测 产品 、 配 置 测试 环境 、 编 写 自动 化 测试 、 使 用 测试 工具 等 。 测 试 小 组 无 
需 为 所 有 任务 编写 操作 文档 ， 只 需要 针对 复杂 的 任务 撰写 文档 。 久 而 久之 , 这 批文 档 将 成 为 项 目 
知识 库 的 重要 部 分 ， 其 至 程序 员 也 会 时 常 参考 。 


随 着 软 硬 件 的 发 展 , 视频 录像 成 为 新 形式 的 操作 文档 。 用 屏幕 录制 软件 和 麦克 风 录 制 一 个 10 
分 钟 的 操作 演示 视频 ,省 时 省 力 ， 其 传递 知识 的 效果 可 能 胜 过 一 份 用 几 十 分 钟 编写 的 文档 。 有 一 
次 , 我 与 一 个 异地 的 团队 进行 测试 协作 ,主要 任务 是 用 他 们 开发 的 工具 测试 我 的 产品 。 他 们 提供 
的 是 一 个 10 页 左右 的 PowerPoint 文 档 , 概述 了 任务 的 目标 和 内 容 。 文档 末 页 链接 了 一 个 视频 文件 。 
该 视频 长 约 5 分 钟 , 演示 了 该 工具 的 用 法 。 我 用 10 分 钟 便 看 完了 PowerPoint 文 档 和 视频 ,之 后 就 能 
运用 该 工具 进行 测试 。 可 见 ， 多 媒体 的 操作 指南 使 得 信息 传递 更 加 高 效 。 


3.2.11 检查 列表 


在 完成 一 项 复杂 的 任务 时 ， 人 们 需要 分 析 并 处 理 多 个 细节 。 但 是 ， 人 脑 的 记忆 力 并 不 可 靠 ， 
在 时 间 压 力 下 ,， 它 很 可 能 会 遗漏 一 些 重要 的 细节 , 使 任务 面临 失败 的 风险 。 为 了 任务 完成 的 一 致 
性 和 完整 性 , 人们 发 明了 检查 列表 ,并 成 功 地 应 用 于 航空 医疗 等 关键 领域 [WikipediaChecklist12]。 
测试 专家 Cem Kaner 具 有 法 学 学 位 ， 他 指出 律师 在 处 理 复 杂 法 律 问题 时 会 使 用 检查 列表 ， 而 软件 
测试 人 员 也 应 该 用 检查 列表 来 指导 并 追踪 测试 工作 [Kaner08b]。 


检查 列表 针对 一 项 复杂 任务 , 由 一 组 工作 事项 组 成 ,每 一 个 事项 提醒 工作 者 检查 一 项 细节 或 
完成 一 项 活动 。 这 些 工作 事项 是 完成 该 任务 的 必要 条 件 ， 需 要 工作 者 认真 对 待 。 有 时 ， 工 作者 会 
根据 实际 情况 跳 过 一 些 工 作 事项 ， 但 这 是 他 谍 慎 考虑 后 的 结论 ， 不 是 因为 遗忘 而 导致 的 玻 忽 。 


图 3-13 是 必 应 词典 的 安装 测试 的 检查 列表 。 安装 测试 要 检查 安装 程序 可 以 将 必 应 词典 正确 地 
安装 在 不 同 的 操作 系统 ( Windows 7、Windows 8, Windows Server 2008, Windows Server 2012 等 ) 
和 CPU 架构 (x86 和 x64 ) 上 。 除 了 检查 安装 过 程 以 外 ,测试 人 员 还 需要 对 安装 后 的 程序 做 一 些 基 
本 测试 ， 以 发 现 隐藏 的 安装 错误 。 图 3-13 的 检查 列表 针对 必 应 词典 的 主要 功能 ， 列 出 了 一 些 基 本 
的 检查 点 。 它 不 追求 详尽 的 测试 (这 属于 功能 测试 的 范畴 )， 但 是 覆盖 了 最 基本 的 功能 。 它 列举 
了 工作 项 , 但 没有 规定 详细 的 测试 用 例 , 这 让 测试 人 员 不 会 遗忘 重要 的 测试 ， 又 有 自主 发 挥 的 空 
间 。 随 着 项 目的 发 展 , 测试 人 员 可 以 调整 检查 列表 , 删除 低 风 险 条 目 , 加 入 新 发 现 的 高 风险 条 目 。 


有 些 检查 列表 也 可 以 视 作 测试 想法 列表 。 例 如 ，Michael Hunterh You Are Not Done Yet: Checklist ® 
针对 不 同 测试 对 象 提出 了 一 组 很 好 的 检查 列表 ， 覆 盖 了 桌面 软件 的 许多 测试 任务 [Hunter10]。 这 组 


人 Microsoft Developer Network ( MSDN ) 提供 了 许多 操作 文档 , 例如 Quick Start Guide for Manual Testing using Microsoft 
Test Manager ( http://msdn.microsoft.com/en-us/library/vstudio/dd380763.aspx )。 
@ http://www.thebraidytester.com/downloads/YouAreNotDoneYet.pdf. 
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检查 列表 不 针对 特定 的 软件 ， 而 是 提出 了 一 批 通用 的 测试 想法 ， 供 测试 人 员 做 因地制宜 地 修改 。 
测试 人 员 在 完成 测试 设计 或 执行 之 后 , 可 以 对 照 检 查 列表 来 发 现 已 有 测试 尚未 覆盖 的 方面 ， 从 而 
添加 新 的 测试 来 提高 测试 覆盖 。 


必 应 词典 ( Beta ) 必 应 词典 
查询 英文 词汇 
rE PAN ESE 屏幕 取 词 
刘 词 翻 译 
更 次 必 应 词 左 的 皮肤 
必 应 生词 本 修改 “设置 ”中 的 参数 并 验证 修改 成 功 
必 应 生词 本 
a 在 必 应 词典 中 将 中 英文 词汇 加 入 生词 本 
NES 在 必 应 生词 本 中 增加 词汇 
在 必 应 生词 本 中 删除 词汇 
导出 含有 中 英文 词汇 的 数据 文件 
导入 含有 中 英文 词汇 的 数据 文件 
必 应 背 单词 
使 用 内 输 词 表 ， 浏览 单词 
使 用 生词 本 ,浏览 单词 
导出 词 表 
导入 词素 
检查 更 新 


图 3-13” 必 应 词典 安装 测试 的 检查 列表 


检查 列表 是 一 种 提示 物 , 它 帮 助 测试 人 员 在 面 对 复 杂 的 产品 时 不 会 遗漏 重要 的 工作 事项 。 构 
建 检查 列表 的 过 程 就 是 学 习 软 件 并 建立 模型 的 过 程 ， 是 一 种 有 价值 的 测试 学 习 和 测试 设计 活动 ， 
其 成 果 是 有 结构 的 检查 点 或 测试 想法 。 在 使 用 检查 列表 时 ,测试 人 员 在 检查 列表 ( 及 其 背后 的 测 
试 模型 ) 的 指导 下 ， 积 极地 设计 并 执行 测试 ， 充 分 发 挥 自身 的 经 验 和 技能 。 可 见 ， 检 查 列 表 让 测 
试 学 习 、 设 计 、 执 行 都 是 一 种 高 认 知 工作 [Kaner08b]。 


3.2.12 ”缺陷 目录 


软件 缺陷 常常 体现 了 编程 语言 的 陷阱 、 计 算 平台 的 不 足 、 程 序 员 能 力 的 欠缺 、 领 域 模型 的 偏 
差 等 问题 。 收 集 并 整理 典型 缺陷 有 助 于 吸取 教训 、 对 症 下 药 ， 是 一 项 有 价值 的 活动 。 为 此 , 一 些 
软件 测试 专家 整理 了 缺陷 目录 (bug taxonomy ) 供 测试 人 员 参 考 。 例 如 ，Cem Kaner 等 在 《计算 
机 软件 测试 》( Testing Computer Software ) 的 附录 “常见 软件 错误 ”" 中 描述 了 12 类 共 400 多 个 


D Cem Kaner 提 供 了 该 附录 的 全 文 下 载 : http://www.testingeducation.org/BBST/testdesign/Kaner_Common_Software_ 
Errors.pdf。 
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软件 缺陷 区 aner99]。 之 后 ，Cem Kaner 与 Giri Vijayaraghavan 协 作 ， 总 结 了 当时 已 有 的 缺陷 目录 ， 
并 讨论 了 如 何 更 好 地 使 用 缺陷 目录 [Vijayaraghavan03]。 


当 测 试 人 员 获得 一 份 缺陷 目录 后 ， 他 可 以 从 多 个 角度 利用 该 文档 。 


O 浏览 缺陷 目录 ,标注 出 产品 可 能 出 现 的 缺陷 。 利 用 这 些 缺 陷 ， 评 估 现 有 测试 设计 的 质量 。 
如 果 有 茶 个 缺陷 可 能 被 漏 测 ， 就 需要 设计 新 的 测试 来 检查 该 缺陷 。 此 时 ， 缺 陷 目 录 是 测 
试 覆 盖 评 佑 工具， 帮助 测 试 人 员 更 周密 地 测试 。 

口 将 缺陷 目录 作为 “攻击 指南 "， 根 据 典型 缺陷 和 产品 的 特点 ， 来 做 快速 测试 。 

O 提炼 出 特定 领域 的 缺陷 ( 如 安全 性 缺陷 、 性 能 缺陷 等 )， 作 为 测试 指南 等 文档 的 附录 。 在 

评审 和 使 用 文档 的 过 程 中 ， 这 些 “ 常 见 缺 陷 ” 能 激发 测试 灵感 ， 并 帮助 识别 典型 问题 。 

O 分 析 缺 陷 目 录 ， 找 出 可 能 发 生 的 缺陷 ， 然 后 与 程序 员 交 流 这 些 潜在 的 问题 。 一 方面 ， 程 
序 员 可 以 帮助 他 理解 技术 细节 、 设 计 测 试 策略 。 男 一 方面 ， 程 序 员 能 从 中 学 习 到 软件 或 
平台 的 潜在 风险 ,这 有 助 于 他 提前 准备 、 规 避 错 误 。 

口 在 测试 小 组 内 讨论 这 些 典 型 缺陷 ， 从 而 帮助 测试 小 组 建立 团队 测试 策略 ， 实 施 有 针对 性 
的 测试 。 


有 时 , 测试 人 员 会 测试 一 些 新 型 的 应 用 , 在 该 领域 并 没有 相对 完整 的 缺陷 目录 。 这 时 ， 他 可 
以 自己 归纳 该 领域 的 典型 缺陷 。 即 便 所 获得 的 缺陷 列表 篇 幅 不 长 ， 也 会 很 有 帮助 。 例 如 ,测试 专 
家 Jonathan Kohl 所 总 结 的 移动 应 用 七 宗 罪 ( 7 deadly sins of mobile apps ) [Kohl12]， 就 概况 了 移动 
应 用 的 典型 问题 ， 对 于 测试 设计 很 有 启发 性 。 


口 野心 : 应 用 承诺 它 做 不 到 的 事情 。 

口 暴食 : 应 用 使 用 了 太 多 的 资源 。 它 占 满 了 内 存 ， 拖 慢 了 设备 ， 耗 尽 了 电量 ， 用 完了 数据 
ORS: 应 用 假设 用 户 总 是 拥有 强劲 的 网 络 连接 ， 而 不 可 考虑 信号 微弱 的 情况 。 

O HIS: HOOR, HERS. 

口 狂怒 : 应 用 与 其 他 应 用 不 能 协作 。 

口 嫉妒 :应 用 抄袭 其 他 应 用 的 功能 ， 毫 无 创新 。 

口 傲慢 : 应 用 难以 使 用 ， 期 望 用 户 适 应 它 的 古怪 设计 ， 而 不 是 适应 用 户 。 


3.2.13 WER 


为 了 有 效 地 管理 测试 , 测试 经 理 需要 评估 测试 团队 的 生产 力 、 当 前 测试 的 进度 、 测 试 覆 盖 的 
范围 、 已 经 暴露 的 风险 、 测 试 人 员 是 否 需 要 帮助 等 因素 。 一 个 好 的 测试 流程 可 以 帮助 测试 经 理 和 
测试 小 组 了 解 这 些 因 素 , 并 实施 积极 的 管理 。 为 了 满足 软件 开发 团队 对 可 管理 性 的 要 求 , Jonathan 
Bach 和 James Bach 提 出 了 基于 测 程 的 测试 管理 ( Session-Based Test Management, SBTM ) 
[Bach00b]。 
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SBTM 将 测试 过 程 分 解 为 一 组 测 程 ， 从 而 提高 整个 测试 项 目的 可 说 明 性 。 为 此 ， 一 个 测 程 包 
含 4 个 要 点 : 主题 、 时 间 盒 、 可 评审 的 结果 和 简报 [Bach04a]。 


i 


1. 主题 
主题 是 一 个 测 程 需要 完成 的 任务 。 该 任务 拥有 具体 的 目标 ， 可 以 在 90 分 钟 内 完成 ,并 提供 有 
价值 的 简报 。 主 题 通常 用 一 段 简练 的 文字 描述 ， 其 内 容 可 以 是 测试 一 个 功能 、 检 查 一 个 风险 、 测 
试 一 组 用 户 情景 等 。 以 下 是 两 个 实例 [Bolton07]。 
口 为 产品 DecideRight 生 成 测试 覆盖 大 纲 和 风险 列表 。 
O 探索 产品 QuickBuild 如 何 产生 一 个 决策 : 用 户 向 导 功 能 应 该 帮助 用 户 使 用 选项 、 标 准 和 权 
重 来 计算 最 佳 决策 。 
图 3-14 是 测试 专家 Elisabeth Hendrickson 建 议 的 测 程 主题 模板 [Hendrickson13]， 其 基本 结构 : 
“使 用 ( 资源 )， 探 索 ( 特定 对 象 )， 以 求 发 现 (信息 Vo 
口 资源 是 测试 人 员 实 施 探索 的 工具 ， 它 可 以 是 软件 工具 、 测 试 数据 、 测 试 技术 、 测 试 对 象 
所 依赖 的 功能 的 等 。 
O 对 象 是 需要 调查 的 产品 元 素 ， 它 可 以 是 一 个 功能 、 一 个 模块 、 一 条 需求 、 一 个 用 户 情景 
等 。 
口 信息 是 技术 调查 需要 获得 的 结果 ， 它 可 以 是 测试 模型 、 质 量 属性 、 潜 在 风险 等 。 


使 用 (资源) 
探索 (特定 对 象 ) 
以 求 发 现 (信息 ) 


图 3-14” 测 程 主题 模板 


该 模版 不 是 编写 主题 的 “最 佳 实践 "， 并 不 适合 所 有 的 测 程 。 但 是 作为 思考 工具 ， 它 可 以 帮 
助 测试 人 员 思 考 测 程 的 使 命 , 明确 测试 的 对 象 、 手 段 和 目标 。 利用 该 模板 , 以 上 实例 可 以 重 写 为 : 


口 利用 功能 漫游 ， 探 索 产品 DecideRight， 以 生成 测试 覆盖 大 纲 和 风险 列表 。 
口 利用 情景 测试 ， 探 索 产 品 QuickBuild 的 用 户 向 导 功 能 ( 包含 选项 、 标 准 、 权 重 )， 以 检查 
它 能 否 顺利 地 产生 决策 。 
主题 是 测 程 的 指南 针 。 好 的 主题 前 述 了 探索 的 对 象 、 要 达成 的 目标 、 可 利用 的 资源 ， 但 不 会 
对 具体 行动 和 结果 做 出 不 必要 的 约束 。 如 图 3-15 所 示 ， 从 严格 的 脚本 测试 到 自由 式 探索 的 渐变 谱 
系 之 中 ， 存 在 许多 测试 方法 ， 其 中 主题 是 偏 自由 探索 的 测试 方法 [Bach10]。 在 它 的 左 侧 是 严格 脚 
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本 化 的 测试 〈 即 严格 按照 详细 脚本 进行 测试 )、 概 况 的 脚本 〈 即 没有 详细 指定 所 有 步骤 的 测试 脚 
本 小 片段 的 测试 用 例 ( 即 只 包含 测试 要 点 而 省 略 了 其 他 内 容 的 测试 用 例 ), 在 它 的 左 侧 是 角色 ( 即 
测试 人 员 将 自己 扮演 为 某 类 用 户 ) 和 自由 式 探索 (无需 预先 准备 的 测试 o 可见， 主题 的 特征 是 
已 指定 了 测试 策略 ， 而 具体 的 测试 战术 则 留 给 测试 人 员 在 测 程 中 选择 。 


严格 脚本 化 的 测试 片段 的 测试 用 例 主题 自由 式 探索 
概况 的 脚本 | | 
自由 
计划 


图 3-15 ”主题 是 偏向 自由 探索 的 测试 方法 


2. ids 

时 间 盒 是 一 段 不 受 打 扰 的 测试 时 间 ， 其 长 度 一 般 在 60~120 分 钟 ， 以 90 分 钟 较为 常见 。 在 此 期 
fal, 测试 人 员 不 回答 问题 ,不 回复 邮件 ,不 应 答 即 时 消息 ， 只 专注 地 实施 测试 。 从 工程 师 的 角度 
来 看 ， 时 间 仿 使 测试 人 员 排 除 干扰 ， 全力 应 对 测试 的 智力 挑战 。 从 测试 团队 的 角度 来 看 ， 固 定 且 
专属 的 时 间 盒 使 得 测试 规划 和 进度 追踪 变 得 更 容易 。 


可 评审 的 结果 是 测 程 的 产 出 ， 常 见 的 形式 是 测 程 表 ， 其 内 容 可 以 包括 以 下 几 点 。 


口 主题 
口 测试 人 员 
口 测试 所 覆盖 的 区 域 
口 测试 设计 和 测试 发 现 
口 测试 所 发 现 的 缺陷 
口 测试 所 发 现 的 问题 
口 测试 所 使 用 的 数据 文件 
口 测试 活动 的 时 间 统 计 : 在 产品 安装 、 测 试 设 计 与 执行 、 缺 陷 调 查 与 报告 、 非 测试 活动 中 
各 花费 了 多 少时 间 
3. 简报 
简报 通过 面对面 的 交流 将 测试 情况 传递 给 测试 经 理 。 在 一 天 的 测 程 结束 后 , 测试 人 员 向 测试 
经 理 当 面 汇 报 测试 情况 。 经 理 查看 测 程 表 , 提出 一 些 问题 , 测试 人 员 解 释 测试 结果 , 并 回答 疑问 。 
经 理 也 可 以 召开 小 组 会 议 , 让 测试 人 员 轮 流 报告 当天 的 测试 结果 , 使 测试 小 组 对 当前 产品 的 质量 
形成 较 完 整 的 认识 。 


传统 上 , 测 程 表 是 一 个 文本 文件 , 拥有 固定 的 格式 。 这 样 ， 测试 经 理 可 以 用 一 个 文本 处 理 程 
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序 从 多 个 测 程 表 中 提取 信息 ,形成 聚合 的 测试 总 结 报告 。 测试 人 员 也 可 以 用 程序 读 取 测 程 表 , 将 
其 中 的 缺陷 记录 自动 提交 到 缺陷 管理 系统 。 表 3-5 记 录 了 一 个 测 程 表 的 实例 [Bach00b] 和 相关 解释 。 


表 3-5 ” 测 程 表 实 例 


测 程 表 内 容 解释 
主题 分析 产品 MapMaker 的 视图 菜单 的 功能 ， 并 且 报告 该 区 ” 测 程 的 主题 定义 了 一 个 可 以 在 时 间 盒 内 完成 的 任务 。 
域 的 潜在 风险 该 任务 将 提供 有 价值 的 质量 信息 

区 域 : 

GS wanes Sau 区 域 描述 了 测试 范围 。 本 案例 通过 列举 操作 系统 


(Windows 2000) 、 被 测试 的 菜单 (View) 、 被 测试 
的 功能 (Function Testing 和 Functional Analysis) 说 明 
Strategy | Function Testing 了 测试 覆盖 的 内 容 

Strategy | Functional Analysis 


开始 时 间 : 2000/11/11, 09:30 AM 
测试 人 员 : Jonthanc Bach 


Menu | View 


任务 分 解 : 

# 持 续 时 间 

短 测 程 J , re 

aa 测 程 表 记录 了 一 些 任务 分 解数 据 , 如 在 测试 设计 和 执 
is a 行 . 缺 陷 调 查 和 汇报 . 测 程 准备 等 活动 上 花费 的 时 间 。 

65 分 钟 这 些 数 据 配合 简报 有 助 于 测试 领导 估算 测试 速度 、 评 

# 缺 陷 调查 和 报告 估 测 试 效率 

25 分 钟 所 谓 “ 机 会 ” 是 指 测试 人 员 在 测 程 中 测试 了 主题 以 外 

REE 的 功能 。 在 本 案例 中 ，“ 主 题 vs. 机 会 ”是 100/0， 这 
as 表示 测试 人 员 完全 专注 于 主题 ， 没 有 测试 其 他 功能 

20 分 钟 

# 主 题 vs. 机 会 

100/0 

数据 文件 : 


ep 测 程 表 列举 了 测试 所 使 用 的 数据 文件 ,为 测试 数据 复 
red 用 提供 了 基础 

FuncAnalysis.mm 

测试 笔记 : 

我 测试 了 View 菜 单 下 的 条 目 , 测试 重点 是 地 图 的 缩放 行为 , 测 

试 覆 盖 了 多 种 地 图 元 素 的 组 合 


View: 

口 欢迎 屏幕 

Ai 测 程 表 的 核心 是 测试 笔记 ， 它 简略 地 叙述 了 测试 故 
口 导航 事 : 为 什么 测试 ， 如 何 测试 ， 为 什么 认为 测试 是 足 
O 定位 器 地 图 够 好 的 。 林 案例 介绍 了 测试 策略 ， 并 通过 功能 列表 
ae RTIRAR 

fal 
口 地 图 元 素 

m 公路 级 别 

m 街道 级 别 
口 机 场 图 


。04 ， 


3.2 ”形形色色 的 测试 文档 


( 续 ) 
测 程 表 内 容 fe B 

口 放大 

口 缩小 测 程 表 的 核心 是 测试 笔记 ， 它 简略 地 叙述 了 测试 故 

eer 事 : 为 什么 测试 ， 如 何 测试 ， 为 什么 认为 测试 是 足 

í 够 好 的 。 本 案例 介绍 了 测试 策略 ， 并 通过 功能 列表 
加 级 别 1 一 14 记录 了 测试 覆盖 的 范围 

口 以 前 的 视图 
风险 : 

口 地 图 元 素 可 能 会 错误 显示 。 

口 中 断 重 绘 可 能 导致 错误 显示 。 测 程 表 记 录 了 风险 、 缺 陷 和 问题 , 它们 不 但 是 测 程 的 

口 光盘 可 能 无 法 读 取 。 直接 产 出 ， 还 是 规划 未 来 测试 的 参考 资料 

口 用 户 可 能 使 用 旧版 本 的 光盘 。 

口 在 特定 的 缩放 级 别 下 ， 产 品 的 某 些 功 能 可 能 出 错 
缺陷 : 
pc : 测 程 表 拥 有 固定 的 格式 ， 该 实例 用 特殊 符号 “#” 标 
当 缩放 到 特定 级 别 (街道 名 称 ) 时 ， 产 品 提示 插入 光盘 2。 插 ” 记 了 文本 处 理 程序 可 以 提取 的 数据 ,测试 人 员 只 要 遵 
入 光盘 2 后 ， 产 品 仍旧 提示 插入 光盘 2。 循 简单 的 格式 ， 就 可 以 产生 易于 自动 分 析 的 测 程 表 。 
#Bug 1331 一 个 简单 的 文本 处 理 程序 能 够 批量 地 处 理 测 程 表 , 产 
快速 放大 时 ， 街 道 名 称 中 的 结果 未 能 呈现 。 AAR EE, ARREA EEA 
#Bug (EFA) 记录 到 缺陷 管理 系统 ) 
当 光 驱 缓慢 或 显存 较 低 时 ， 功 能 不 稳定 。 该 缺陷 还 在 调查 中 
问题 : 
# 问 题 1 疑惑 是 一 种 测试 工具 [Kaner01]。 测 试 人 员 可 以 用 自己 
我 如 何 知道 哪些 细节 应 该 出 现在 什么 缩放 级 别 上 ? 的 困惑 引导 测试 的 方向 , 设计 更 多 的 测试 用 例 来 探索 
A 这 些 问题 


我 不 确定 定位 器 地 图 是 如 何 工 作 的 。 用 户 应 该 如 何 与 其 交互 ? 


测 程 表 的 本 质 是 测试 报告 ， 向 团队 提供 有 关 产 品 和 测试 的 信息 。 分 析 表 3-4 不 难得 出 测试 报 
告 的 基本 需求 。 


口 测试 报告 的 主要 目的 是 为 读者 提供 所 需 的 信息 。 例 如 ， 测 程 表 的 读者 是 测试 经 理 或 测试 
同伴 ， 因 此 它 的 内 容 比 较 技 术 化 ， 常 常 报告 产品 和 测试 的 细节 以 描述 测试 过 程 和 结果 。 
口 报告 测试 执行 者 ， 以 明确 测试 和 报告 的 责任 。 

口 报告 测试 活动 的 主题 ， 以 明确 测试 的 目标 和 任务 。 

O 报告 测试 的 情况 ， 包 括 测试 对 象 、 测 试 范围 、 测 试 策略 、 测 试 技术 、 测 试 数据 等 。 这 有 
助 于 报告 读者 评估 测试 的 深度 、 广 度 和 质量 。 

口 报告 测试 所 发 现 的 缺陷 ， 并 阐述 哪些 功能 表现 稳定 ， 哪 些 功能 缺陷 较 多 。 

口 报告 测试 所 发 现 的 风险 ， 为 项 目 级 别 的 风险 管理 提供 支持 。 

O 根据 测试 情况 ， 提 出 需要 投入 更 多 测试 资源 的 领域 ,包括 值得 进一步 调查 的 问题 、 值 得 
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深入 测试 的 区 域 、 值 得 尝试 的 新 测试 策略 等 。 

口 提供 有 关 测 试 过 程 的 信息 ， 为 过 程 改 进 提供 支持 。 

近年 来 ， 出 现 了 更 多 的 SBTM 支 持 工具 [Carvalhol11]， 能 够 支持 多 媒体 格式 的 测 程 表 。 例 如 ， 
RapidReporter” 可 以 方便 地 生成 CSV 和 HTML 格 式 的 测 程 表 ，CSV 格 式 便于 自动 地 提取 数据 ， 
HTML 格 式 可 包含 富 文本 的 测试 笔记 和 屏幕 截图 。 
通过 聚合 测 程 表 收集 的 数据 ,测试 经 理 可 以 评估 团队 的 测试 速度 。 图 3-16 显 示 了 已 执行 测 程 
的 总 时 间 随 日 期 的 变化 趋势 ， 这 有 助 于 测试 经 理 评估 在 项 目 结束 前 还 可 以 执行 多 少 测 程 
[Bach04a]。 如 果 余 下 的 测试 时 间 不 足以 完成 测试 使 命 ， 他 需要 采取 措施 ， 以 避免 项 目 失败 。 


300.0 
250.0 5 
200.0 -ORR 

150.0 
100.0 


50.0 a 
p. 


0.0 
5/26 6/9 6/23 7/7 7/21 8/4 8/18 


图 3-16 已 执行 测 程 的 总 时 间 随 日 期 的 变化 趋势 


SBTM 的 本 质 是 动态 管理 。 在 项 目 之 初 ， 测试 小 组 对 产品 还 不 够 了 解 ， 测试 经 理 可 以 安排 一 
些 “ 侦 查 型 ”的 测 程 去 学 习 产 品 的 各 个 区 域 。 例 如 ， 上 文 提 到 的 “为 产品 DecideRight 生 成 测试 履 
盖 大 纲 和 风险 列表 ”就 侦查 了 产品 的 主要 功能 和 风险 。 基 于 这 些 测 程 的 测 程 表 和 简报 ,测试 领导 
可 以 拟定 测试 项 目的 总 体 计 划 ， 并 大 致 规划 出 测 程 的 数目 与 主题 。 


在 项 目 过 程 中 , 好 的 测试 经 理会 通过 测 程 表 和 每 日 简报 ， 积 极 发 现 产 品 或 测试 的 问题 ， 提 出 
有 针对 性 的 解决 方案 。 例 如 , 测试 经 理 老 王 通过 阅读 测 程 表 ， 发 现 测 试 人 员 小 张 常常 花费 过 多 的 
时 间 在 缺陷 调查 上 。 他 与 小 张 面谈 以 了 解 具 体 情 况 。 面 对 面 的 交流 使 信息 得 到 高 效 的 传递 , 并 有 
助 于 消除 统计 数据 的 误导 和 书面 文字 的 歧义 。 如 果 小 张 喜欢 打破 砂锅 、 追 根 究 底 , 老 王 会 告诉 他 : 
在 调查 缺陷 时 ， 可 以 设 定 一 个 最 长 用 时 〈 如 10 分 钟 )， 当 时 间 用 尽 时 ， 应 该 停止 调查 ， 根 据 已 知 
情况 提交 缺陷 报告 。 此 外 ， 他 还 会 安排 一 些 有 技术 挑战 的 任务 给 小 张 ， 以 帮助 他 增进 技术 水 平 。 
如 果 小 张 因 不 了 解 产 品 而 花费 了 过 多 的 调查 时 间 , 老 王 会 安排 有 经 验 的 员工 指导 小 张 , 或 亲自 传 
授 一 些 知 识 和 技能 ， 以 帮助 他 渡 过 难关 。 如 果 是 糟糕 的 可 测试 性 导致 了 过 长 的 调查 时 间 , 老 王 会 
和 编程 小 组 联系 ， 提 出 改进 意见 ， 以 推动 产品 可 测 性 的 提高 。 


O http://testing.gershon.info/reporter/。 
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3.3 在 测试 中 发 展 测 试 文档 


随 着 产品 和 项 目 环境 的 变化 , 测试 内 容 与 策略 也 要 作 相 应 的 调整 。 测 试 经 理会 根据 测 程 的 结 
果 来 调整 下 一 步 的 测试 计划 。 他 可 以 新 增 几 个 测 程 ， 以 调查 最 新 发 现 的 风险 ; 他 也 可 以 合并 几 个 
测 程 ， 将 省 下 的 时 间 分 配给 更 重要 的 测 程 。 这 些 决策 的 事实 基础 就 是 测 程 表 和 简报 。 


3.2.14 ”移交 文档 


当 测 试 人 员 离 开 当 前 项 目 时 ， 他 可 以 考虑 撰写 移交 文档 ， 帮 助 接手 其 工作 的 同事 尽快 上 手 。 
移交 文档 的 价值 在 于 作为 领域 专家 的 测试 人 员 系 统 性 地 写 出 专家 知识 和 经 验 。 与 测试 设计 规约 等 
文档 侧重 于 “前 瞻 ” 不 同 ， 移 交 文 档 更 侧重 “回顾 ”与 “总 结 ”。 它 包含 如 下 内 容 。 


口 被 测 对 象 概述 : 解释 被 测 对 象 在 产品 中 的 作用 与 地 位 。 

口 文档 链接 : 指向 需求 说 明 、 设 计 文档 、 测 试 设计 规约 等 文档 的 链接 ， 为 进一步 学 习 提 供 

素材 。 

口 基本 测试 想法 : 列举 10 条 最 重要 的 测试 想法 。 当 测试 设计 规约 已 经 详细 记录 测试 设计 ， 
移交 文档 的 作用 是 提供 一 个 人 门 的 台阶 ， 所 记录 的 测试 想法 保证 了 基本 的 测试 覆盖 ， 同 
时 让 继任 者 可 以 立即 开始 测试 。 

O 经 验 与 技巧 : 阐述 测试 人 员 在 测试 实战 中 积累 的 经 验 与 技巧 ,包括 好 用 的 工具 、 未 公开 
的 设置 、 快 速 的 调试 手段 等 。 这 些 技巧 是 领域 知识 的 具体 表现 ， 能 够 快速 提高 继任 者 的 
工作 效率 。 

口 已 知 局 限 : 介绍 被 测试 对 象 的 局 限 和 缺陷 。 软 件 不 会 是 完美 的 ， 总 存在 一 些 不 足 和 不 予 

修复 的 缺陷 。 了 解 被 测 对 象 的 问题 ， 能 够 更 全 面 地 理解 领域 ， 并 减少 疑惑 。 

口 测试 自动 化 : 介绍 可 用 的 自动 化 工具 和 测试 用 例 。 

口 测试 数据 : 介绍 可 用 的 测试 数据 文件 、 测 试 数据 库 等 。 


移交 文档 无 需 长 篇 大 论 , 只 要 指出 重点 即 可 , 详细 内 容 可 以 用 链接 指向 相关 文档 、 共 享 数 据 、 
测试 数据 库 、 缺 陷 管 理 系 统 等 信息 源 。 移 交 文档 不 是 新 员工 入 职 手 册 ， 无 需 介绍 众 所 丝 知 的 测试 
知识 ， 它 应 该 聚焦 于 被 测 对 象 的 领域 和 特点 ， 介 绍 现 有 的 测试 知识 、 经 验 和 资产 ， 为 接手 的 同事 
成 为 新 的 领域 专家 提供 垫 脚 石 。 


3.3 在 测试 中 发 展 测试 文档 


3.2 节 介绍 了 一 批 不 同形 式 的 测试 文档 。 在 实际 工作 中 , 测试 人 员 不 需要 撰写 所 有 这 些 文档 ， 
也 不 需要 在 项 目 之 初 完成 所 有 的 文档 工作 。 本 节 将 介绍 如 何在 测试 过 程 中 发 展 测试 文档 。 


3.3.1 初始 测试 文档 
在 项 目 之 初 ,测试 人 员 可 以 参考 3.2.1 节 的 介绍 来 编写 一 份 测试 计划 草稿 , 主要 确定 以 下 内 容 。 
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QQ、 第 3 章 测试 文档 


口 任务 : 测试 人 员 完 成 什么 工作 
O 策略 : 用 什么 方法 去 完成 工作 
O 保障 : 何 时 用 何 种 资源 完成 工作 。 

口 产品 : 测试 工作 产 出 哪些 工作 制品 。 


这 份 草稿 的 篇 幅 可 以 很 短 〈1~2 页 )， 其 作用 是 为 测试 的 技术 任务 提供 框架 ( 策略 与 保障 )， 
为 测试 组 织 与 协作 提供 基础 (任务 和 产品 ) 有 了 这 份 草稿 , 测试 人 员 可 以 与 其 他 项 目 成 员 协 作 ， 
共同 发 展 测试 计划 。 章 稿 的 好 处 在 于 , 它 提供 了 讨论 的 基础 ， 其 未 定型 的 状态 又 或 励 讨论 者 提出 
更 多 的 想法 。 


O 与 测试 经 理 讨 论 测 试 计划 ， 明 确 测试 任务 的 优先 级 、 测 试 进 度 的 安排 、 工 作 制品 的 质量 
要 求 。 

OD 与 程序 员 讨论 测试 计划 ， 请 程序 员 从 实现 的 角度 提出 测试 想法 ,并 评论 现 有 的 测试 策略 。 
程序 员 能 提出 一 些 测试 人 员 不 易 想 到 的 测试 要 点 ， 这 对 于 改进 测试 策略 很 有 帮助 。 

O 邀请 几 个 熟悉 的 同事 ， 组 织 一 个 小 型 的 头脑 风景 会 议 ， 以 产生 更 多 的 测试 想法 。 参 与 者 
不 需要 很 多 ， 只 要 彼此 信任 ， 能 够 畅所欲言 ， 就 可 以 在 30 分 钟 的 会 议 中 产生 许多 很 好 的 
想法 。 参 与 者 的 不 同 背 景 和 不 同 视 角 可 以 增加 测试 想法 的 多 样 性 。 


除了 与 他 人 协作 ， 测 试 人 员 还 可 以 做 一 些 “ 功 课 "， 以 发 展 测试 设计 。 


O 对 新 开发 的 功能 做 一 些 基 本 的 测试 。 如 果 待 开发 功能 还 没有 实现 ， 可 以 对 相关 功能 做 一 
些 测试 。 例 如 ， 新 功能 是 在 PowerPoint 的 图 片 处 理 中 增加 几 种 “图 片 效 果 ”， 测试 人 员 可 
以 对 图 片 和 周边 功能 做 一 些 测试 。 测 试 的 目的 是 了 解 新 功能 的 内 容 、 它 的 运行 环境 、 与 
它 配合 的 其 他 功能 等 ， 从 而 建立 整体 认识 。 测 试 产 出 可 以 是 一 份 功能 列表 ， 它 分 析 了 新 
功能 的 具体 能 力 ， 并 标记 了 潜在 风险 。 
从 团队 内 部 和 互联 网 上 收集 测试 资料 ， 例 如 测试 指南 、 测 试想 法 列表 、 质 量 特性 列表 、 
检查 列表 、 缺 陷 目 录 等 。 对 收集 到 的 素材 进行 裁剪 、 补 充 、 调 整 ， 使 它们 符合 项 目 语 境 。 
该 素材 整理 的 过 程 也 是 学 习 被 测 产 品 和 项 目 环 境 的 过 程 ， 能 够 帮助 测试 人 员 更 深入 地 思 
考 产 品 和 测试 任务 。 
积极 研究 规格 说 明文 档 ， 并 与 产品 经 理 交 流 ， 以 理解 产品 要 解决 的 问题 和 产品 如 何 解 决 
问题 。 此 外 ， 还 会 探究 隐 式 规格 说 明 ， 从 而 获得 更 全 面 的 理解 。 常 见 的 隐 式 规格 说 明 包 
括 竞争 对 手 的 产品 、 产 品 家 族 的 其 他 产品 、 产 品 的 已 发 布 版 本 、 电 子 邮 件 、 会 议 记 录 、 
采访 记录 、 用 户 反馈 、 第 三 方 评论 、 技 术 标准 、 法 律 法 规 、 领 域 专著 等 。 

以 上 交流 和 研究 并 不 局 限于 项 目 早期 。 测 试 人 员 可 以 在 项 目 全 过 程 持续 地 交流 , 逐渐 地 展开 
研究 。 在 工作 中 , 我 会 用 笔记 软件 记录 这 些 讨论 与 研究 的 成 果 。 图 3-17 是 我 用 OneNote 收集 整理 
的 工作 资料 。 


o 


o 


D 


D 


O http://office.microsoft.com/en-us/onenote/。 
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Visualizing the Olympics with Power View in Excel - OneNote 


VIEW 


Code Office Tool + 


° 
eo °° sf 
© eo 
eo A 0 
Ld 


And with that, we have created our first map for the Olympics. While you are here you can 
zoom in and pan around on the map as well as hover over the data points to see the values for 


Thanks for following along with this first post. While there is a lot more functionality available in 
the map, much of it we will likely cover in future posts, I thought it would be fun to start with a 
simple exercise for the first post to show you how easy it can be to build a map in Excel 2013 


From <htto-//blogs.msdn.com/b/seanboon/archive/2012/07/30/visualizing-the-olympics-with-power-view-in- 


Sxcel-2013-day-1.aspx> 
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图 3-17 


口 将 相同 主题 的 资料 放 在 一 个 分 区 中 ， 以 实现 信息 分 类 。 


jOneNote 组 织 资料 


例如 ， 图 3-17 中 OneNote 的 当前 分 


区 是 Officee， 它 记录 了 Microsoft Office 相 关 的 技术 资料 。 我 还 创建 了 Note 、TestPass、Bug 


等 分 区 ， 以 组 织 相应 类 别 的 信息 。 


口 利用 页 的 父子 关系 表示 资料 之 间 的 逻辑 关系 , 使 得 资料 组 织 直 观 明 了 。 例如 图 3-17 右 侧 所 
示 的 页 标签 , 它 通过 层次 结构 进一步 对 信息 分 类 , 便于 快速 找到 PowerPoint、Excel、 Word 


等 具体 类 别 的 信息 。 
口 页 可 以 容纳 文档 、 
口 OneNote 提 供 了 全 文 搜索 功能 ， 


图 片 、 链 接 、 文 字 和 图 表 等 多 种 元 素 ， 能 够 将 相关 主题 的 内 容 一 网 打 尽 。 
让 资料 检索 简单 且 快 速 。 
O 笔记 软件 是 一 个 “容器 ”"， 容 纳 了 来 自 方方面面 的 信息 。 在 某 种 程度 上 ， 它 提供 了 一 个 工 


作 空 间 ， 便 于 高 效 地 研究 多 种 资料 ， 从 而 更 好 地 理解 产品 ， 更 快 地 设计 测试 。 
当 测 试想 法 相对 完备 后 ,测试 人 员 可 以 更 新 测试 计划 草稿 , 以 发 布 可 供 评审 的 测试 计划 初稿 。 


之 后 ,他 邀请 测试 小 组 、 程 序 员 、 


品 经 理 等 评审 测试 计划 ， 并 根据 反馈 意见 做 出 修改 。 评 审 的 


一 个 重要 成 果 是 项 目 团队 对 测试 的 任务 、 策 略 、 保 障 和 产品 达成 一 致意 见 ， 使 得 测试 过 程 可 以 较 


顺利 地 展开 。 
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3.3.2 发展 测试 文档 


测试 计划 通过 评审 之 后 , 测试 人 员 需 要 在 测试 中 持续 发 展 测 试 文档 。 如 3.1.2 节 所 讨论 的 ， 测 
试 人 员 可 以 在 测试 设计 、 测 试 执 行 、 测 试 评 估 、 测 试 学 习 等 各 个 阶段 发 展 测试 文档 。 测 试 是 迭代 
过 程 , 大 的 循环 周期 是 测试 人 员 测 试 每 一 份 构建 , 小 的 循环 周期 是 测试 人 员 用 上 一 步 测 试 的 结 
驱动 下 一 步 测试 的 方向 。 在 迭代 中 ,测试 文档 为 新 的 测试 设计 提供 灵感 ， 又 记录 了 新 的 测试 想法 
和 测试 发 现 。 


Cem Kaner 等 建议 测试 人 员 在 测试 执行 时 ， 手 边 要 放 一 个 笔记 本 ， 随 时 记录 新 的 测试 想法 。 
他 们 甚至 在 硬件 资源 相对 紧张 的 1999 年 便 提议 : 更 好 的 做 法 是 , 在 一 台 计 算 机 上 测试 , 在 另 一 台 
计算 机 上 更 新 测试 计划 [区 aner99]。 我 的 切身 感受 是 ， 测 试 计算 机 最 好 能 连接 两 块 大 屏幕 显示 器 ， 
在 一 台 显 示 器 上 测试 产品 ， 在 另 一 台 显 示 器 上 使 用 笔记 软件 来 发 展 测 试 文档 〈10.1.3 节 也 讨论 了 
多 显示 需 的 优点 )。 如 图 3-18 所 示 ， 左 侧 的 屏幕 有 笔记 软件 OneNote 和 思维 导 图 软件 FreeMind” , 
OneNote 记 录 了 测试 笔记 (包括 测试 想法 和 观察 结果 )，FreeMind 展 示 了 质量 特性 大 纲 ; 被 测 软件 
“ 必 应 词典 ”和 测试 工具 (Process Explorer” #ilFiddler2® ) 在 右 侧 的 屏幕 ， 它 们 完成 测试 执行 与 


< CES pa {ej 
ape j 
ef 


图 3-18 ”在 测试 的 同时 更 新 测试 文档 图 


O 在 测试 执行 时 ， 可 以 随时 查看 测试 笔记 和 相关 测试 文档 ， 用 文档 中 的 测试 想法 去 设计 具 
体 的 测试 用 例 。 此 外 ， 我 会 时 刻 质 疑 文档 的 完整 性 ， 检 查 既 有 测试 想法 的 不 足 ， 以 激发 
出 更 多 的 测试 思路 。 

口 将 测试 执行 发 现 的 新 信息 记 入 测试 笔记 。 主 流 的 笔记 软件 支持 快速 地 录 和 入、 截屏、 格式 
化 、 标 记 ， 人 允许 立即 记录 测试 发 现 ， 且 没有 额外 的 负担 。 例 如 ，OneNote 文 持 快速 排版 ， 


O http://freemind.sourceforge.net/wiki/index.php/Main Page. 
© http://technet.microsoft.com/en-us/sysinternals/default。 
© http:/www.fiddler2.com/fiddler2/。 
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3.4 ”小 结 


用 键盘 快捷 键 生成 符号 列表 、 数 字 列 表 、 表 格 和 标签 ， 它 还 支持 快捷 键 Win+S 将 屏幕 截图 
搬入 当前 笔记 页 面 ， 从 而 便捷 地 产生 图 文 并 友 的 测试 笔记 。 
口 由 于 测试 笔记 记录 了 即兴 的 想法 、 发 现 的 问题 、 产 生 的 疑惑 、 捕 获 的 细节 ， 因 此 不 必 花 


O 在 测试 过 程 中 ， 修 改 功能 列表 、 思 维 导 图 、 数 据 和 矩阵 等 测试 资料 ， 使 它们 反映 新 的 知识 
和 测试 设计 。 建 议 用 多 种 形式 的 文档 记录 测试 设计 和 测试 发 现 。 测 试 语 境 复杂 多 变 ， 应 
该 选择 合适 的 记录 方式 ， 而 不 是 局 限于 某 种 特定 的 方法 。 我 将 测试 笔记 作为 核心 文档 ， 
用 它 链接 其 他 资料 ， 构 成 集中 组 织 的 测试 文档 集 。 

口 经 过 测试 执行 的 补充 ， 测 试 笔记 所 包含 的 测试 设计 会 更 加 全 面 和 深入 ， 所 记录 的 技术 细 
节 会 让 测试 执行 更 有 针对 性 。 几 周 之 后 ， 当 我 再 次 测试 相同 的 功能 时 ， 我 能 够 快速 上 手 ， 
TAN LIZ 

口 测试 笔记 是 测试 报告 和 测试 评审 的 原始 素材 。 对 其 内 容 稍 作 整理 ， 就 可 以 形成 测试 总 结 

报告 ,让 项 目 团队 了 解 测试 的 进展 。 此 外 ， 将 报告 发 送 给 程序 员 、 产 品 经 理 和 测试 伙伴 ， 

请 他 们 评审 测试 设计 ， 能 够 获得 更 多 的 测试 想法 。 


对 于 在 何 处 增加 测试 设计 的 深度 ，Cem Kaner 等 提出 了 6 个 区 域 ， 值 得 测试 人 员 参 考 [Kaner99]。 


O 最 可 能 发 生 错误 的 区 域 。 如 果 测 试 人 员 知 道 哪些 区 域 可 能 存在 大 量 缺 陷 ， 就 在 那里 仔细 
地 测试 。 缺 陷 往 往 聚 集 在 一 起 ， 应 该 尽早 测试 这 些 高 危 区 域 。 
O 错误 最 明显 的 区 域 。 从 用 户 的 角度 看 竺 产品， 尝试 去 发 现 那些 用 户 最 容易 发 现 的 错误 。 
这 让 测试 人 员 专注 于 对 用 户 最 重要 的 情景 和 功能 。 
O 最 常 使 用 的 程序 区 域 。 测 试用 户 最 常 使 用 的 功能 ， 以 提高 软件 的 稳定 性 。 
口 最 有 差别 的 程序 区 域 。 产 品 想 要 说 得 用 户 需 要 提供 独一无二 的 特性 ， 这 些 特 性 被 称 为 软 
件 的 “卖点 ”。 测 试 人 员 需 要 仔细 测试 这 些 区 域 ， 因 为 在 卖点 上 失败 将 导致 竞争 失利 。 
口 最 难 修正 的 区 域 。 许 多 软件 缺陷 没有 被 修正 是 因为 没有 时 间 完 成 高 难度 的 修复 。 应 该 尽 
早 测试 难以 修正 的 区 域 ， 以 便 程 序 员 有 更 多 的 时 间 去 修复 缺陷 。 
口 测试 人 员 最 理解 的 区 域 。 通 过 测试 一 个 熟悉 的 区 域 和 它 的 周边 区 域 ， 测 试 人 员 能 够 快速 
地 测 完 一 个 局 部 ， 并 更 好 地 理解 产品 。 这 有 助 于 他 更 有 效 地 进入 下 一 个 区 域 。 

总 而 言 之 ,测试 人 员 应 该 在 测试 中 逐步 发 展 测试 文档 。 首 先 编写 一 个 测试 草案 ， 明 确 任务 、 
策略 、 保 障 和 产品 , 并 建立 起 测试 设计 的 框架 。 然后 , 通过 测试 迭代 增加 测试 设计 的 广度 和 深度 ， 
将 重要 的 设计 成 果 和 测试 发 现 纳入 测试 文档 集 。 


3.4 小结 
本 章 讨论 测试 文档 的 编写 与 维护 策略 ， 并 介绍 了 一 批 具 体 的 测试 文档 。 
口 测试 文档 是 项 目 团 队 或 测试 人 员 实 施 测 试 的 工具 。 
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Q #3 


章 ， 测试 文档 


口 测试 文档 的 根本 价值 在 于 帮助 测试 人 员 更 有 效 地 测试 。 偏 离 此 价值 的 文档 过 程 将 浪费 资 
源 、 和 危害 项 目 。 
口 在 复杂 的 软件 开发 中 , “测试 文档 ”并 不 是 一 份 文档 ， 而 是 一 组 文档 。 测 试 人 员 要 根据 项 
目 语 境 ， 决 定 测试 文档 的 类 型 、 内 容 和 形式 。 

口 测试 文档 要 为 读者 服务 。 在 许多 情况 下 ,测试 文档 最 重要 的 读者 是 测试 人 员 自 己 。 

口 用 核心 文档 组 织 测试 素材 ， 构 成 测试 文档 集 ， 让 多 份 文 档 相互 支持 、 彼 此 参考 。 

O 首先 建立 测试 设计 的 框架 ,然后 在 测试 学 习 、 测 试 设计 、 测 试 执行 、 测 试 评估 的 迭代 中 ， 
注重 实效 地 发 展 测试 文档 。 

口 了 解 不 同形 式 的 测试 文档 ， 收 集 不 同 内 容 的 测试 资料 ， 有 助 于 全 面 思考 、 灵 活 应 用 。 
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所 谓 测试 建 模 ， 就 是 以 测试 为 目的 建立 产品 模型 。 建 模 对 象 可 以 是 系统 、 组 件 、 功 能 等 不 同 
粒度 的 被 测 目标 ， 建 模 的 结果 是 一 个 指导 测试 设计 的 模型 〈 简称 “测试 模型 ” )， 它 省 略 了 一 些 与 
测试 无 关 的 信息 ， 强 调 了 值得 测试 关注 的 信息 。 


实际 上 ， 所 有 的 测试 都 基于 模型 。 正 如 第 1 章 所 论述 的 ， 软 件 包 仿 业务、 设计、 技术 等 多 方 
面 的 细节 ， 其 复杂 度 已 经 超越 了 人 的 理解 能 力 。 为 了 实施 对 质量 信息 的 技术 调查 , 测试 人 员 必 需 
使 用 一 组 简化 的 模型 来 分 析 产 品 和 设计 测试 。 即便 测试 人 员 没 有 特意 去 建立 模型 , 他 的 测试 活动 
也 是 基于 他 对 产品 的 抽象 认 知 ， 即 一 些 隐 式 模型 。 如 果 他 有 意识 地 分 析 产 品 和 业务 ,形成 针对 产 
品 的 测试 模型 ,就 可 以 更 高 效 地 测试 。 本章 将 介绍 一 些 基 本 的 测试 模型 和 建 模 方法 ,为 测试 人 员 
创建 针对 产品 的 模型 提供 基础 。 
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本 节 首 先 介绍 组 合 测试 的 基本 概念 和 方法 , 然后 讨论 如 何 根据 项 目 语 境 来 完善 组 合 测试 的 测 
试 模型 ， 从 而 说 明 测 试 建 模 的 重要 性 。 


4.1.1 组 合 测试 简介 


组 合 测试 (combinatorial testing ) 是 一 种 测试 用 例 生成 方法 。 测 试 人 员 将 被 测试 对 象 抽象 为 
一 个 受到 多 个 变量 影响 的 系统 ,其 中 每 个 变量 的 取 值 是 离散 且 有 限 的 。 然 后 ,他 使 用 组 合 测试 工 
R 生成 满足 特定 组 合 覆 盖 标 准 的 组 合 测试 用 例 集 ( 本 节 简 称 “ 测 试 集 ”) 


O 两 因素 组 合 测试 (pairwise combinatorial testing， 也 称 配 对 测试 、 全 对 偶 测试 ) 生成 的 测 
试 集 可 以 覆盖 任意 两 个 变量 的 所 有 取 值 组 合 。 在 理论 上 ， 该 用 例 集 可 以 暴露 所 有 由 两 个 
变量 共同 作用 而 引发 的 缺陷 。 

口 多 因素 组 合 测试 (n-way combinatorial testing，n>2 ) 生成 的 测试 集 可 以 履 盖 任意 n 个 变量 


O http:/www.pairwise.org/tools.asp 列 举 30 余 种 组 合 测试 工具 。 
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的 所 有 取 值 组 合 。 在 理论 上 ， 该 用 例 集 可 以 发 现 所 有 由 nm 个 因素 共同 作用 引发 的 缺陷 。 


在 理想 情况 下 ， 测 试 人 员 应 该 测试 所 有 变量 的 全 部 取 值 组 合 ， 即 使 用 全 组 合 测试 集 。 但 是 ， 
该 测试 集 可 能 非常 庞大 , 会 超出 测试 的 可 用 资源 。 为 了 按时 完成 测试 ,测试 人 员 常用 组 合 测试 来 
生成 规模 较 小 的 测试 集 。 


例如 ， 测试 人 员 实 施 产 品 的 配置 测试 ,需要 测试 的 软件 配置 如 表 4-1 示 。 由 该 表 可 知 全 组 合 
测试 需要 2 x 3 x4 x2x3x3=432 个 配置 组 合 ,这 需要 大 量 的 测试 时 间 , 可 能 给 项 目 进度 带 来 风险 。 
根据 他 的 测试 经 验 , 配置 测试 发 现 的 缺陷 大 多 是 由 一 个 或 两 个 配置 参数 所 暴露 的 ， 只 要 覆盖 任意 
两 个 配置 参数 的 取 值 组 合 , 就 能 发 现 大 多 数 配 置 缺 陷 。 于 是 , 他 利用 微软 的 组 合 测试 工具 PICT" 来 
生成 两 因素 组 合 测试 用 例 集 ( 本 市 简称 “两 因素 测试 集 ”)。 

首先 , 他 用 一 个 文本 文件 描述 测试 模型 , 即 该 测试 需要 考虑 哪些 变量 , 每 个 变量 有 哪些 取 值 。 
图 4-1 是 他 根据 表 4-1 制 作 的 模型 文件 , 其 中 一 行 记录 了 一 个 组 合 测试 的 变量 ,“:” 之 前 是 变量 名 ， 
之 后 是 变量 的 可 能 取 值 。 该 模型 文件 定义 了 配置 测试 的 配置 需求 。 


表 4-1 配置 测试 的 参数 和 取 值 


配置 参数 取 值 
PLATFORM x86, amd64 
CPUS Single, Dual, Quad 
RAM 2GB, 4GB, 8GB, 16GB 
HDD SCSI, IDE 
OS WinVista, Win7, Win8 
IE 8.0, 9.0, 10.0 


File Edit Format View Help 
PLATFORM: x86, amd64 
Single, Dual, Quad 
2GB, 4GB, 8GB, 16GB 


SCSI, IDE 
WinVista, Win7, Win8 
8.0, 9.0, 10.0 


图 4-1 ”PICT 的 模型 文件 


然后 ， 他 在 命令 行 上 调用 “pict.exe config test model.txt /o:2 > pairwise_cases.txt”“”， 生 成 如 
表 4-2 所 示 的 两 因素 测试 集 , 其 特征 是 任意 两 个 变量 ( 如 PLATFORM-CPU、CPU-HDD、RAM-OS 


© http://download.microsoft.com/download/f/5/5/f55484df-8494-48 fa-8dbd-8c6f76cc0 1 4b/pict33.msi. 
@ 在 该 命令 中 ，config test_ model.txt 是 输入 的 模型 文件 ，/o:2 的 含义 是 生成 两 因素 测试 集 ，pairwise_testcase.txt 是 输出 
结果 。 
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等 ) 的 取 值 组 合 都 被 覆盖 。 这 时 ， 测 试用 例 个 数 由 全 组 合 的 432 个 下 降 到 16 个 〈 即 全 组 合 的 规模 
是 两 因素 组 合 的 27 倍 )， 从 而 加 快 了 测试 进程 ， 且 没有 显著 降低 错误 发 现 能 力 。 


表 4-2 ”两 因素 组 合 测试 用 例 集 


PLATFORM CPU RAM HDD OS IE 
amd64 Dual 16GB SCSI WinVista 8 
x86 Single 8GB IDE Win7 10 
amd64 Quad 8GB SCSI Wing 9 
x86 Quad 4GB IDE WinVista 10 
amd64 Single 2GB IDE Win8 8 
x86 Single 2GB SCSI WinVista 9 
amd64 Single 4GB SCSI Win7 8 
x86 Dual 8GB IDE Win8 10 
X86 Dual 16GB IDE Win7 9 
amd64 Quad 2GB SCSI Win7 10 
amd64 Dual 4GB IDE Win8 9 
x86 Dual 2GB SCSI Win7 8 
x86 Single 16GB IDE Win8 10 
x86 Quad 8GB IDE WinVista 8 
amd64 Quad 16GB SCSI WinVista 10 


测试 人 员 还 可 以 使 用 PICT 生 成 模型 文件 的 三 因素 、 四 因素 、 五 因素 、 六 因素 ( 即 全 组 合 ) W 
试 集 ， 其 测试 用 例 的 个 数 如 图 4-2 所 示 。 由 图 中 可 知 ， 随 着 因素 的 提高 ， 测 试用 例 的 个 数 呈 非 线 
性 增长 。 在 测试 实践 中 ， 受 到 测试 资源 的 限制 ， 许 多 测试 人 员 仅 使 用 两 因素 组 合 测试 。 
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4.1.2 ”根据 语 境 来 完善 组 合 测试 的 模型 


由 4.1.1 节 可 知 , 组 合 测试 针对 的 问题 是 没有 足够 的 测试 资源 来 运行 所 有 的 测试 用 例 ( 全 组 合 


测试 集 )， 提 出 的 解决 方法 基于 一 个 数学 模型 和 一 个 假设 。 


O 所 基于 的 数学 模型 如 公式 〈4-1 ) BAS, 产品 的 功能 被 抽象 为 函数 A 产品 的 输入 被 抽象 为 


函数 的 变量 zi xz °°, Xm, Hx (1<i<m) 的 可 能 取 值 是 有 限 的 ， 产 品 的 输出 被 抽象 为 函 
数 的 返回 值 y1, yp,…, Yno 


口 所 依赖 的 假设 是 ， 如 果 测 试 覆 盖 了 任意 th (2<t<m) 输入 变量 的 取 值 组 合 ， 那 么 该 测 


试 可 以 发 现 函 数 /的 大 部 分 错误 。 对 于 两 因素 组 合 测试 而 言 ， 其 假设 是 如 果 测 试 覆盖 了 任 
意 两 个 输入 变量 的 取 值 组 合 ， 那 么 它 可 以 发 现 产 品 的 大 部 分 错误 。 
Vis Yos pp Xl, X2, ***, Xm) (4-1) 


以 上 数学 模型 和 假设 就 构成 了 组 合 测试 的 测试 模型 。 它 非常 简单 且 抽 象 , 可 以 广泛 地 “应 用 ” 


于 不 同 的 测试 活动 。 但是, 正 因为 它 过 于 简单 上 抽象 , 测试 人 员 需 要 根据 产品 特征 来 完善 该 模型 ， 
才能 使 它 “ 适 用 ”于 当前 的 测试 活动 。 本 节 将 介绍 一 些 组 合 测试 可 能 遇 到 的 问题 ， 并 讨论 如 何 完 


善 测试 模型 来 解决 问题 。 
问题 1: 组 合 测试 的 理论 没有 讨论 如 何 建立 其 数学 模型 
组 合 测试 的 测试 模型 很 简单 ， 但 是 组 合 测 试 的 文献 很 少 讨论 如 何 根据 产品 来 构建 该 模型 


[Bach04b]。 然 而 ， 测 试 人 员 在 实施 组 合 测试 时 ， 必 须 解决 以 下 问题 。 
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O 确定 变量 xi, Xo, t, xm， 即 确定 被 测 产 品 的 输入 变量 。 测 试 产品 的 一 个 功能 ， 要 考虑 许多 


因素 。 如 图 4-3 所 示 ，PowerPoint 可 以 对 图 片 实施 “阴影 ”特效 。 在 测试 该 功能 时 ， 测 试 
人 员 除 了 考虑 图 4-3 所 呈现 的 7 个 设置 项 , 还 需要 考虑 图 片 类 型 、 图 片 像 素 、 图 片 是 否 透明 、 
图 片 是 否 具有 其 他 特效 、 图 片 是 否 与 其 他 元 素 “ 组 合 "、 图 片 的 输出 类 型 等 变量 。 测 试 人 
员 不 需要 通过 一 次 测试 去 覆盖 所 有 这 些 变 量 ,但 是 他 应 该 谨慎 选择 当前 的 测试 需要 覆盖 
哪些 变量 ， 并 计划 更 多 的 测试 以 覆盖 余下 的 变量 。 如 果 他 的 测试 设计 遗漏 了 重要 的 变量 ， 
那么 组 合 测试 也 会 错失 重要 的 测试 用 例 。 


口 确定 每 个 变量 x, 的 取 值 集合 。 
O 表 4-3 是 图 4-3 所 列 7 个 设置 项 的 可 能 取 值 个 数 。 即 便 测 试 人 员 只 考虑 这 7 个 变量 ， 表 4-3 的 


两 因素 测试 集 也 包含 海量 的 测试 数据 。 为 了 获得 小 规模 的 两 因素 测试 集 ， 测 试 人 员 常 党 
用 等 价 类 划分 技术 来 获得 每 个 设置 项 的 “典型 取 值 ”。 如 果 他 的 等 价 类 划分 遗漏 了 一 个 重 
要 的 等 价 类 , 那么 组 合 测试 也 会 错失 重要 的 测试 数据 。James Bach 对 两 因素 组 合 测试 的 有 
效 性 进行 了 实验 。 他 发 现 他 构造 的 两 因素 测试 集 错过 了 许多 缺陷 ( 缺陷 发 现 率 不 到 50% ), 
缺陷 遗漏 的 主要 原因 是 该 测试 集 没 有 包含 可 以 暴露 错误 的 特定 取 值 [James04b]。 也 就 是 
说 ， 如 果 变 量 x 的 取 值 集合 不 够 好 ,组合 测试 的 效果 就 会 大 打折 扣 。 


4.1 


从 组 合 测试 看 建 模 的 重要 性 


口 确定 检查 方法 ,以 判断 返回 值 yi,y,…,y 是 否 正 确 。 测试 人 员 需 要 构造 测试 先知 以 检查 产 
品 的 输出 。 不 严谨 的 检查 有 可 能 遗漏 已 经 暴露 的 缺陷 。 


设置 图 片 格式 
2 A Ba 

4 阴影 
预 设 (P) o 
REO Q- 
透明 度 中 一 + 35% = 
大 小 S) — 100% = 
模糊 (B) ”一 238 过 
角度 (A) 4 45° = 
距 高 (D) 4 11 磅 = 


14-3 PowerPoint 的 图 片 阴 影 功能 


表 4-3 ”设置 项 的 取 值 个 数 


遗憾 的 是 , 现 有 的 组 合 测试 研究 并 没有 4 


设置 项 可 能 取 值 的 个 数 
预 设 24 

颜色 16 581 375 
透明 度 100 

大 小 200 

模糊 100 

角度 360 

距离 200 


恨 好 地 回答 以 上 问题 。 这 体现 了 组 合 测试 面临 的 根本 


性 挑战 : 纯粹 的 数学 模型 远离 产品 的 业务 模型 和 代码 的 实现 模型 ， 不 能 直接 应 用 于 测试 。 为 此 ， 
合 业务 模型 和 实现 模型 。 在 此 过 程 中 , 测试 人 员 需 要 深入 地 
研究 业务 领域 、 产 品 需求 、 代 码 实现 、 测 试 技术 等 内 容 ， 付 出 持续 的 努力 且 无 捷径 可 走 。 


问题 2: 组 合 测试 可 能 会 错过 最 重要 的 取 值 组 合 


测试 人 员 需 要 完善 组 合 模型 ， 使 之 符 


图 4-4 是 Word 2013“ 高 级 ”设置 的 一 部 分 。 为 了 测试 Word 在 不 同 设置 下 的 行为 ， 可 以 将 一 个 
单 选 框 视 为 一 个 变量 ( 取 值 为 “启用 ”或 “关闭 ”)， 对 它们 生成 两 


因素 测试 集 。 该 测试 集 看 似 较 


好 地 覆盖 了 不 同 变 量 的 组 合 ,但 是 很 可 能 没有 和 窗 盖 Word 的 默认 设置 。 不 幸 的 是 ,很 多 用 户 从 不 


修改 默认 配置 ,测试 集 没 有 覆盖 最 常 月 


他 可 能 错过 重要 的 测试 用 例 。 


日 、 最 重要 的 取 值 组 合 。 这 揭示 了 组 合 测试 的 一 个 风险 : 组 


合 测试 的 数学 模型 可 能 不 适用 于 被 测 软件 。 如 果 测 试 人 员 不 仔细 分 析 产 品 , 只 依赖 组 合 测试 工具 ， 
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为 了 避免 漏 测 ， 
考虑 到 Word 用 户 的 使 用 模式 ， 测 试 人 员 可 以 参考 如 下 测试 策略 。 


A 使 用 Word 时 采用 的 高 级 选项 


编辑 选项 


yj] 键入 内 容 苦 换 所 选 文字 四 
v) 选 定时 自动 选 定 整个 单词 (W) 
v) 允许 拖 放 式 文字 编辑 (D) 
v) 用 "Ctrl + 单 去 "跟踪 超 链 接 (H) 
插入 自选 图 形 时 自动 创建 绘图 画布 (A) 
使 用 智能 段落 选择 (M) 
v) 使 用 智能 指针 (E) 
用 Insert 键 控制 改写 模式 (O) 
使 用 改写 模式 (V) 
提示 更 新 样式 (V) 
对 项 目 符号 或 编号 列表 使 用 正文 样式 (N) 
保持 格式 蹊 踪 ( 晶 ) 
标记 格式 不 一 至 错误 旧 
更 新 样式 以 匹配 所 选 内 容 (U): 保留 以 前 的 编号 和 项 目 符号 栏 式 
v) 启用 " 即 点 即 边 "(C) 
默认 段落 样式 W: | 正文 v 
显示 "记忆 式 键 入 "建议 
不 自动 起 链接 屏幕 裁 图 (H) 
中 文字 体 也 应 用 于 西 文 (F) 
v) 输入 法 控制 处 于 活动 状态 从 ) 


4 


4 


4 


图 4-4 Word 的 “高 级 ”设置 


测试 人 员 应 该 利用 领域 知识 和 测试 技能 ， 发 气 出 一 批 必须 测试 的 取 值 组 合 。 


(1) 将 默认 设置 对 应 的 取 值 组 合 加 入 测试 集 。 


(2) 对 于 默认 设置 ， 每 次 修改 其 中 一 个 单 选 框 ， 获 得 一 批 取 值 组 合 。 将 它们 加 入 测试 


o 


(3) 考虑 到 大 多 数 用 户 不 修改 默认 设置 或 只 修改 1 个 设置 ， 该 测试 用 例 集 已 经 “足够 好 ”， 可 


以 将 其 付 诸 测 试 。 


图 4-4 中 一 共有 19 个 单 选 框 。 如 果 不 考 虑 单 选 框 之 间 的 依赖 关系 ， 以 上 策略 将 产生 20 条 测试 
用 例 。 如果 使 用 PICT 生 成 这 19 个 变量 的 两 因素 测试 集 , 该 集合 包含 10 条 测试 用 例 。 虽然 手工 生成 


的 测试 用 例 要 多 于 PICT 的 结果 ， 但 是 它们 更 贴近 用 户 所 使 用 的 设置 ， 是 更 好 的 测试 集 。 
如 果 测 试 人 员 认 为 覆盖 任意 两 个 变量 的 取 值 组 合 很 重要 ， 他 可 以 先 构造 面向 业务 的 测试 


出 


Ty 


? 


然后 将 其 作为 “种 子 ”, 利用 PICT 生 成 两 因素 测试 集 。 例 如 , 命令 “pict.exe model.txt /e:seedrows.txt 


/0:2” 所 生成 的 测试 用 例 集 就 包含 种 子 文件 ( seedrows.txt ) 所 指定 的 取 值 组 合 。 
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问题 3: 组 合 测试 的 数学 模型 没有 描述 变量 之 间 的 约束 关系 


在 组 合 测试 的 数学 模型 中 ， 每 个 变量 的 取 值 是 相互 独立 的 ， 即 x 的 取 值 不 会 影响 x 的 取 值 。 
但 是 ， 大 多 数 被 测 对 象 的 变量 之 间 存 在 约束 关系 。 以 表 4-1 所 列 的 配置 参数 为 例 ， 当 变量 
PLATFORM 的 取 值 是 x86 时 ， 变 量 RAM 的 取 值 就 不 能 是 8GB 或 16GB， 因为 x86 CPU 最 大 只 支持 
4GB 内 存 。 即 便 测 试 人 员 将 组 合 (PLATFORM: x86，RAM: 8GB ) 作为 负面 测试 用 例 ， 也 是 不 可 
行 的 ， 因 为 x86 的 主板 根本 插入 不 了 8GB 的 内 存 。 


可 见 ， 如 果 不 考虑 变量 之 间 的 约束 关系 , 测试 集 将 包含 大 量 的 无 效 测试 用 例 。 因 为 组 合 测试 
工具 生成 的 每 一 条 测试 用 例 对 于 因素 覆盖 都 是 必要 的 , 仅仅 删除 无 效 测 试用 例 , 会 导致 最 终 的 测 
试 集 不 能 实现 两 因素 或 多 因素 组 合 覆 盖 。 对 于 此 类 被 测 对 象 , 测试 人 员 应 该 明确 定义 变量 的 约束 
关系 ， 让 组 合 测试 工具 根据 约束 来 生成 有 效 的 测试 集 。 


例如 ， 在 PICT 的 模型 文件 中 ， 加 入 如 下 的 约束 语句 ， 就 可 以 定义 变量 之 间 的 约束 关系 。 


IF [PLATFORM] = "x86" THEN [RAM] NOT IN ("8GB", "16GB"); 
IF [OS] = "Win8" THEN [IE] >= 10.0; 


第 一 条 约束 是 ， 当 CPU 是 x86 时 ， 内 存 不 能 是 8GB 或 16GB 。 第 二 条 约束 是 ， 当 操作 系统 是 
Windows 8 时 ，IE 的 版 本 号 要 大 于 或 等 于 10.0。 当 PICT 读 取 模 型 文件 时 ， 它 会 解析 约束 规则 ， 并 
将 其 应 用 于 测试 用 例 生 成 过 程 。 生 成 的 测试 集 既 满足 组 合 覆 盖 标 准 ， 又 不 包含 无 效 取 值 组 合 。 

在 大 多 数 情况 下 , 无 业务 知识 的 数学 模型 不 会 是 高 效 的 测试 模型 。 定 义 约束 是 根据 产品 的 业 
务 模型 来 改进 组 合 测试 模型 。 测 试 人 员 需 要 仔细 分 析 业 务 规则 , 发 掘 出 应 该 加 入 组 合 测试 模型 的 
约束 ， 使 组 合 测试 工具 有 更 丰富 的 信息 来 处 理 输入 变量 。 


问题 4: 组 合 测试 用 例 可 能 被 “ 卫 哨 ” 语 句 过 滤 


许多 软件 用 卫 哨 语 名 来“ 过滤” 无效 的 输入 。 例 如 ， 在 如 下 代码 中 ，if 语 名 就 是 一 个 卫 哨 ， 
它 检 查 函 数 的 输入 ， 一旦 发 现 A<=1 就 退出 函数 func(…)。 


int func(int A, int B, int C) 


if (A <= 1) return ERROR; 
} 


如 果 测 试 人 员 没 有 读 过 代码 ， 或 没有 仔细 分 析 规 格 说 明 , 他 可 能 会 制定 如 下 的 模型 文件 。 在 
该 模型 中 ，A 的 取 值 是 0, 1,2. 
A: 0, 1, 2 


B: 0, 1, 2 
Ci 0, 1, 2 
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利用 上 述 模型 ，PICT 所 生成 的 测试 用 例 集 包含 10 条 测试 用 例 。 


NRPONRONONFR D 
PONORONRON WD 
PRPNONRPRPRONOTM 


在 这 10 条 测试 用 例 中 ， 有 6 条 测试 用 例 因为 A<=1 会 被 if 语 句 过 滤 掉 。 只 有 4 条 测试 用 例 ， 能 
够 执行 到 if 之 后 的 语句 。 这 意味 着 只 有 40% 的 B 和 C 的 取 值 组 合 被 真正 地 覆盖 。 这 个 例子 表明 ， 如 
果 没 有 考虑 卫 哨 语句 对 执行 流 的 影响 ， 测 试 集 将 不 能 达成 两 因素 或 多 因素 覆盖 的 目标 。 


面 对 此 类 问题 ， 测 试 人 员 要 仔细 阅读 规格 说 明 或 源 代 码 ， 发 掘 会 导致 执行 流 跳 转 的 “非法 ” 
取 值 。 他 可 以 将 非法 取 值 从 模型 中 排除 ,将 变量 的 取 值 置 于 正常 执行 流 的 范围 。 例 如 ， 对 于 函数 
func， 他 可 以 将 模型 文件 定义 为 : 

A: 2, 3, 4 

B: 0, 1, 2 

C: 0, 1, 2 

在 生成 测试 集 之 后 ， 再 加 入 一 条 的 测试 用 例 CAS 1, B21, C:1) 以 覆盖 “非法 ” 取 值 。 原 模 
型 生成 的 测试 用 例 可 以 “通过 ” 卫 哨 语句 ， 履 盖 因 素 A、B 、C 的 两 两 取 值 组 合 ; 附加 的 测试 用 例 
可 以 覆盖 卫 哨 语句 的 “过 滤 ” 功 能 。 


男 一 种 方法 是 在 PICT 的 模型 中 用 特殊 符号 “~” 标 记 出 “非法 ” 取 值 。 例如， 在 如 下 模型 中 ， 
参数 A 的 取 值 1 被 标记 为 非法 。 


Ae VI 3 
B: 0, 1, 2 
C: 0, 4, 2 

PICT 会 保证 所 有 有 效 值 的 取 值 组 合 都 会 被 覆盖 ， 此 外 任意 非法 值 与 有 效 值 的 组 合 也 会 被 覆 
盖 。 以 上 模型 将 生成 如 下 测试 用 例 集 。 


sy 


口 


WWWWNWNDN LD 
NPORPOORN @W 
PRNORONOM 
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2 

~1 

~1 

~1 

如 果 很 清楚 被 测 对 象 的 实现 逻辑 , 使 用 第 一 种 方法 可 以 生成 规模 较 小 的 测试 用 例 集 , 因为 它 
几乎 不 考虑 非法 值 与 有 效 值 的 组 合 。 如 果 只 是 从 规格 说 明 中 了 解 到 程序 可 能 存在 卫 哨 语句 , 那么 
用 第 二 种 方法 可 以 生成 更 “安全 ”的 测试 集 。 这 两 种 方法 都 说 明 测 试 人 员 需 要 利用 软件 的 实现 模 
型 来 丰富 组 合 测试 的 数学 模型 ， 否 则 测试 集 很 可 能 无 法 达到 组 合 覆 盖 的 目标 。 


问题 5: 组 合 测试 可 能 没有 提供 足够 的 测试 材 关 


在 软件 测试 过 程 中 ,最 先 找 到 的 缺陷 往往 处 于 程序 的 “主干 ”上 ,典型 的 执行 流 就 可 以 覆盖 
相应 的 路 径 或 状态 ; 被 遗漏 的 缺陷 常常 位 于 程序 的 “未 枝 ”， 程 序 执行 需要 满足 特殊 条 件 才 能 
六 相应 的 语句 或 状态 ,这 是 软件 测试 的 经 验 之 谈 , 也 提示 两 因素 组 合 测试 也 许 不 能 发 现 隐 藏 在 “ 末 
枝 ” 中 的 缺陷 。 一 些 路 径 需 要 多 个 变量 的 特定 取 值 组 合 才能 被 覆盖 ,然而 两 因素 组 合 测试 不 能 保 
证 测试 集 可 以 覆盖 这 些 组 合 。 因 此 , 在 测试 资源 允许 的 情况 下 ,引入 多 因素 组 合 覆 盖 有 可 能 进 一 
步 提高 错误 发 现 率 。 例 如 ， 在 命令 行 上 执行 “pict.exe model.txt /0:3”， 可 以 生成 三 因素 测试 集 。 


然而 ， 并 不 是 所 有 的 变量 都 会 协同 工作 。 例 如 ， 在 如 下 函数 compute 中 ， 输 入 变量 x1 和 x2 会 
影响 输出 变量 y1， 输 入 变量 x*3 和 x4 会 影响 输出 变量 y2。 变 量 x1 与 x2 协 同 工 作 ， 变 量 x3 与 x4 协 同 工 
VE, 但 是 (x1,x2) 和 (x3,x4) 之 间 并 没有 联系 。 因此 , 实用 的 测试 策略 是 周密 测试 x1 和 x2 的 取 值 组 合 、 
以 及 x3 和 x4 的 取 值 组 合 ， 简 单 测试 x1 、x2、x3 和 x4 的 取 值 组 合 。 


PoOoPND 
NRP ON 


void compute(int x1, int x2, int x3, int x4 int* y1, int* y2) 


*y1 = foo(x1, x2); 
*y2 = bar(x3, x4); 


虽然 函数 compute 是 一 个 极度 简化 的 例子 ,但 是 它 反 映 了 复杂 产品 的 特征 : 它 拥 有 多 个 输入 
变量 和 多 个 输出 变量 , 一 个 输入 变量 不 会 影响 到 所 有 的 输出 变量 , 一 个 输出 变量 也 不 会 受 所 有 的 
输入 变量 影响 。 测试 人 员 可 以 阅读 规格 说 明 ，, 分 析 程 序 代 码 ， 咨询 程序 员 ， 从 而 知晓 每 个 输出 变 
量 受 哪些 输入 变量 影响 。 他 将 相互 协作 的 输入 变量 纳入 小 组 ， 高 强度 测试 小 组 内 部 的 变量 组 合 ， 
低 强 度 测 试 跨 小 组 的 变量 组 合 。 


对 于 PICT， 测 试 人 员 可 以 在 模型 文件 中 定义 子 模 型 。 例 如 ， 他 在 模型 文件 中 增加 如 下 语句 ， 
以 定义 两 个 子 模型 {PLATFORM, CPU, RAM, HDD} 和 {OS, IE}. 


{ PLATFORM, CPU, RAM, HDD } @ 3 
{ 0S, IE }@2 


然后 ,他 用 命令 “pict.exe model.txt /0:1” 生 成 测试 集 。 该 测试 集 对 PLATFORM、CPU、RAM 
和 HDD 实 施 三 因素 组 合 覆 盖 ， 对 OS 和 IE 实 施 两 因素 组 合 窗 盖 。 
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这 个 例子 再 次 表明 , 测试 人 员 需 要 根据 软件 的 业务 规则 和 代码 实现 来 完善 组 合 测试 模型 。 合 
理 的 子 模型 使 得 测试 人 员 可 以 严密 地 测试 相关 变量 的 取 值 组 合 ， 又 不 会 显著 提高 测试 集 的 规模 。 


问题 6: 全 组 合 测试 可 能 是 更 好 的 测试 策略 


组 合 测试 的 初衷 是 减少 测试 用 例 的 数量 , 使 测试 可 以 在 较 短 的 时 间 内 完成 。 随 着 硬件 性 能 的 
发 展 ， 自 动 化 测试 可 以 在 短 时 间 内 执行 成 千 上 万 的 测试 用 例 。 而且， 云 计算 技术 允许 多 台 计 算 机 
并 行 地 执行 计算 , 从 而 进一步 提高 了 测试 执行 的 速度 。 这 使 得 测试 人 员 可 以 利用 软 硬 件 的 强大 性 
能 来 执行 海量 的 测试 用 例 。 在 这 种 情况 下 ， 将 测试 模型 替换 为 全 组 合 测试 可 能 更 好 。 


例如 ， 表 4-1 的 配置 测试 的 全 组 合 测试 需要 432 条 测试 用 例 "。 假 设 测试 人 员 用 虚拟 机 完成 配 
置 测 试 ， 创 建 一 台 满 足 配置 要 求 的 虚拟 机 需要 1.5 小 时 ， 运 行 自 动 化 功能 测试 需要 1.5 小 时 。 那 么 
完成 432 个 配置 的 测试 ， 需 要 432 x 3 = 1296 小 时 。 如 果 测 试 人 员 向 测试 实验 室 申请 20 台 虚拟 机 ， 
完成 全 部 测试 需要 1296: 20= 64.8 小 时 。 这 意味 着 他 在 周 五 下 午 4 点 提交 测试 ， 周 一 上 午 9 点 就 可 
以 查看 所 有 测试 结果 。 可 见 , 合理 的 自动 化 测试 可 以 充分 利用 空闲 的 计算 资源 , 让 测试 人 员 既 能 
享用 愉快 的 周末 ， 又 能 完成 繁重 的 测试 任务 。 


另 一 种 接近 全 组 合 测试 的 方法 是 每 次 回归 测试 都 使 用 全 新 的 测试 集 。 有些 团队 将 组 合 测试 用 
例 集 加 入 回归 测试 集 , 在 项 目 过 程 中 复 地 执行 。 这 时 , 不妨 每 次 生成 新 的 组 合 测试 用 例 集 , 一 方 
面 满足 两 因素 或 多 因素 覆盖 的 要 求 ， 另 一 方面 扩大 测试 对 程序 状态 空间 的 覆盖 。 如 果 每 次 都 使 用 
相同 的 测试 用 例 , 测试 集 可 能 只 是 反复 执行 相同 的 路 径 ， 履 盖 相 同 的 状态 空间 ,也 许 不 能 发 现 隐 
藏 的 缺陷 。 如 果 每 次 都 用 新 的 测试 用 例 ， 随 着 回归 次 数 的 增长 ， 测 试 执行 可 以 执行 更 多 的 路 径 ， 
覆盖 更 广大 的 状态 空间 ， 发 现 隐藏 缺陷 的 概率 也 会 提高 。 


在 PICT 中 ， 参 数 “A[:N]” 为 测试 用 例 生 成 引入 随机 种 子 (N 是 作为 随机 种 子 的 整数 )， 以 生 
成 不 同 的 测试 用 例 集 。 例 如 ， 如 下 命令 行 指令 用 当前 日 期 作为 种 子 ， 生 成 测试 用 例 集 。 

set seed=%date:~4, 2%date:~7 , 2%*date:~10,4% 

pict.exe model.txt /r:%seed% 

第 一 条 语句 从 当前 日 期 中 获得 年 、 月 、 日 信息 ”， 放 入 变量 seed 中 。 第 二 条 语句 以 变量 seed 
为 种 子 ， 生 成 测试 用 例 。 于 是 ,测试 集 的 具体 内 容 随 日 期 变化 ,在 保证 两 因素 覆盖 的 前 提 下 ， 逐 
渐 覆 盖 了 更 多 的 程序 状态 。 


行文 至 此 ， 本 节 已 经 讨论 了 实施 组 合 测试 的 6 个 问题 和 相应 的 解决 方法 。 从 中 不 难看 出 测试 
建 模 对 于 高 效 软件 测试 的 重要 性 。 


D 由 问题 3 可 知 ， 这 432 条 测试 用 例 包 含 一 些 “ 无 效 ” 用 例 ， 实 际 可 执行 的 测试 用 例 数 要 小 于 432 条 。 为 了 简化 讨论 ， 
这 里 仍旧 使 用 432 条 测试 用 例 来 估算 测试 时 间 。 
@) %date 的 格式 随 Windows 系 统 设置 而 变化 ， 该 语句 只 适用 于 特定 Windows 系 统 。 
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4.1 从 组 合 测试 看 建 模 的 重要 性 


口 通用 的 测试 技术 〈 如 组 合 测试 ) 往往 基于 “产品 中 立 ” 的 测试 模型 ， 虽 然 可 以 “广泛 ” 
应 用 ， 但 是 需要 测试 人 员 根 据 产品 来 完善 其 测试 模型 ， 才 能 “有 效 ” 应 用 。 

口 完善 测试 模型 需要 参考 产品 的 业务 领域 ， 例 如 根据 领域 知识 抽取 恰当 的 变量 、 确 定 变 量 
的 取 值 、 定 义 变量 之 间 的 约束 关系 等 。 

口 发 展 测试 模型 还 需要 参考 产品 的 代码 实现 ， 例 如 根据 “ 卫 哨 ”语句 调整 变量 的 取 值 集合 、 
对 变量 分 组 以 实施 子 模型 的 组 合 测试 等 。 

O 综合 运用 多 种 技术 和 模型 能 够 提高 测试 效率 , 例如 第 6 个 问题 的 解决 方法 就 综合 利用 了 组 
合 测试 、 自 动 化 测试 、 随 机 测试 和 虚拟 化 技术 。 
口 测试 建 模 是 一 个 演进 的 过 程 。 测 试 人 员 很 难 在 项 目 之 初 就 知晓 所 有 细节 ， 所 以 测试 模型 
的 初稿 往往 是 有 缺点 的 。 随 着 项 目的 发 展 ， 测 试 模型 的 不 足 会 在 测试 迭代 中 逐渐 暴露 。 
负责 任 的 测试 人 员 会 针对 这 些 问题 ， 调 整 测试 模型 ， 让 它 “ 与 时 俱 进 ”。 


最 后 ， 我 向 读者 推荐 James Bach 和 Patrick J. Schroeder 的 文章 Pairwise Testing: A Best Practice 
That Isn’t [Bach04b]。 这 篇 文章 不 但 深入 分 析 了 组 合 测试 ， 给 出 了 许多 很 好 的 建议 ， 还 展示 了 测 
试 专家 研究 测试 技术 的 思路 和 方法 。 该 文 指出 职业 的 测试 人 员 应 该 运用 批判 性 思维 来 研究 他 所 使 
用 的 每 项 技术 ， 只 有 透彻 地 了 解 技术 的 优点 和 缺点 ， 才 能 根据 语 境 合理 地 使 用 技术 。 


4.1.3 ”测试 建 模 的 基本 点 


上 市 讨论 了 如 何 完善 组 合 测试 的 测试 模型 ,来 解决 实施 组 合 测试 遇 到 的 问题 。 从 中 不 难看 出 ， 
合理 的 测试 模型 可 以 准确 地 描述 产品 ， 使 测试 更 有 针对 性 ， 且 避免 了 测试 遗漏 和 浪费 。 


为 了 获得 好 的 测试 模型 ， 测 试 人 员 需 要 从 多 个 角度 考察 产品 ， 重 要 的 切入 点 包括 业务 领域 、 
软件 实现 和 项 目 环境 。 


口 业务 领域 : 测试 建 模 的 对 象 是 被 测 产品 ， 而 构建 产品 的 使 命 是 解决 业务 问题 ， 因 此 恰当 
的 模型 应 该 切合 产品 的 业务 领域 。 测 试 人 员 可 以 研究 需求 文档 、 客 户 调查 、 相 关 产 品 、 
领域 专著 等 资料 ， 也 可 以 与 客户 代表 、 产 品 经 理 等 相关 人 员 讨 论 ， 从 而 获得 测试 建 模 的 
必要 信息 。 

O 软件 实现 : 好 的 测试 模型 具有 很 强 的 针对 性 ， 能 够 清晰 地 描绘 出 被 测 产 品 的 特征 ， 这 要 
求 测试 人 员 分 析 产 品 元 素 ， 了 解 代 码 实现 。 具 体 而 言 ， 测 试 人 员 可 以 参考 4.2.1 节 介绍 的 
HTSM 之 “产品 元 素 ”， 从 结构 、 功 能 、 数 据 、 接 口 、 平 台 、 操 作 、 时 间 等 角度 分 析 软 件 
实现 。 他 需要 学 习 产 品 的 系统 架构 、 代 码 结构 、 数 据 处 理 、 操 作 接 口 等 实现 细节 ， 还 需 
要 学 习 产 品 的 运行 环境 、 开 发 平台 等 背景 知识 。 

O 项 目 环境 : 构建 测试 模型 的 目的 是 为 了 实施 更 好 的 测试 ， 好 的 测试 模型 不 一 定 复杂 ,但 
一 定 实 用 一 一 能 够 切合 当前 项 目 环 境 ， 并 充分 利用 项 目 资源 。 为 此 ,测试 人 员 可 以 参考 
HTSM 之 “项 目 环 境 "， 从 开发 者 关系 、 测 试 小 组 、 测 试 设备 、 测 试 工具 、 项 目 进度 等 方 
面 考察 测试 模型 的 可 行 性 。 例 如 ， 为 期 1 周 的 测试 和 为 期 4 周 的 测试 需要 不 同 的 测试 模型 。 
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前 者 的 测试 模型 较 简单 ， 会 聚焦 于 高 价值 的 功能 和 高 风险 的 领域 ;后 者 的 测试 模型 更 丰 
富 ， 侧 重 于 测试 策略 的 多 样 性 ， 并 履 盖 更 多 的 产品 细节 。 


在 研究 和 思考 的 过 程 中 , 测试 人 员 需 要 记录 测试 模型 。 一 方面 , 测试 建 模 是 一 个 持续 的 过 程 ， 
测试 人 员 会 根据 产品 的 变化 来 调整 测试 模型 , 记录 当前 的 模型 为 模型 演化 提供 了 基础 。 另 一 方面 ， 
测试 模型 应 该 在 测试 小 组 中 分 享 , 让 更 多 的 人 检查 模型 、 提 供 意 见 、 使 用 模型 能 令 它 更 好 地 发 展 。 
具体 而 言 ， 模 型 的 表达 方式 可 分 成 形式 化 模型 和 非 形式 化 模型 两 种 。 


O 形式 化 模型 可 以 被 工具 软件 读 取 ， 以 自动 生成 测试 数据 或 执行 测试 。 例 如 ，PICT 的 模型 
文件 所 记录 的 就 是 一 个 形式 化 模型 ，PICT 可 以 根据 它 生 成 测试 用 例 集 。 本 质 上 ，PICT 提 
供 了 一 个 建 模 语言 ， 测 斌 人员 使 用 该 语言 可 以 定义 被 测 对 象 的 测试 模型 ， 让 人 和 计算 机 
都 可 以 理解 建 模 结 果 。 与 PICT 相 似 ， 许 多 测试 工具 提供 了 测试 领域 专属 语言 ， 让 测试 人 
员 记 录 测 试 模型 ， 并 根据 模型 执行 自动 化 测试 。 

O 非 形式 化 模型 的 表现 形式 包括 自然 语言 表达 的 文字 、 列 表 、 草 图 等 。 它 们 记录 了 测试 人 
员 的 思考 ， 为 接 下 来 的 测试 设计 提供 信息 。 例 如 ， 图 3-3 的 功能 列表 就 是 PowerPoint 图 片 
功能 的 非 形式 化 测试 模型 。 它 列举 了 图 片 的 主要 功能 ， 提 供 了 测试 覆盖 的 目标 ， 为 进 一 
步 的 测试 设计 建立 了 可 扩展 的 框架 。 


测试 建 模 是 一 个 研究 的 过 程 ， 测试 模型 是 研究 的 成 果 。 不 过 , 模型 并 不 是 最 终 的 目标 , 它 只 
是 辅助 测试 的 工具 ,其 价值 只 取决 于 发 现 缺陷 的 效率 。 为 了 优化 在 模型 上 所 投入 的 资源 ,测试 人 
员 应 该 让 实际 的 测试 需求 来 推动 模型 的 发 展 。 可 行 的 策略 是 构建 一 个 简单 的 模型 , 用 它 指导 测试 
设计 ， 并 根据 测试 反馈 来 改进 它 。 在 测试 迭代 中 ， 模 型 会 逐渐 成 长 ， 日 趋 成 熟 。 


4.2 ”常用 测试 建 模 方法 


随 着 软件 测试 的 发 展 , 测试 建 模 方 法 层出不穷 , 本 书 无 法 一 一 介绍 。 本 节 将 讨论 几 个 常用 的 
测试 模型 ， 为 更 高 级 的 测试 模型 商定 基础 。 


4.2.1 局 发 式 测试 策略 模型 


根据 产品 的 风险 设计 测试 是 一 种 常见 的 测试 设计 思路 。 在 复杂 的 现实 世界 , 产品 面临 的 风险 多 
种 多 样 ， 只 有 全 面 考虑 、 周 密 测试 才能 避免 风险 暴露 导致 的 严重 后 果 。 因 此 , 测试 人 员 需 要 一 个 相 
对 完整 、 可 以 定制 、 容 易 扩 展 的 风险 列表 或 参考 模型 ,来 帮助 他 们 发 现 产 品 风险 。 启 发 式 测试 策略 
模型 (Heuristic Test Strategy Model, HTSM ) 是 测试 专家 James Bach 提 出 的 一 个 结构 化 的 、 可 定制 
的 参考 模型 ， 从 测试 技术 、 产 品 元 素 、 项 目 过 程 、 质 量 标准 等 多 个 角度 启发 测试 设计 [Bach12]。 


图 4-5 是 HTSM 的 概要 描述 ,测试 人 员 利 用 质量 标准 、 项 目 环境 、 产 品 元 素 ,指导 测试 技术 的 
选择 与 应 用 ， 并 产生 观察 到 的 质量 。 
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4.2 ”常用 测试 建 模 方法 


质量 标准 


观察 到 的 质量 
图 4-5 启发 式 测试 策略 模型 


HTSM 具 有 层次 结构 ， 其 顶层 元 素 〈 质量 标准 、 项 目 环境 、 产 品 元 素 、 测 试 技术 ) 可 以 分 解 
为 次 层 元 素 ， 而 次 层 元 素 可 进一步 分 解 为 第 三 层 元 素 。 本 文 只 概要 介绍 次 层 元 素 , 更 多 的 细节 请 
参考 James Bach 的 文档 "。 


测试 技术 : 生成 测试 的 策略 。 有 效 地 选择 和 实施 测试 技术 ， 需 要 综合 分 析 项 目 环境 、 产 品 元 
素 和 质量 标准 。 可 选 的 测试 技术 如 下 。 
口 功能 测试 : 测试 软件 的 能 力 。 
口 域 测试 : 测试 软件 所 处 理 的 数据 。 
口 压力 测试 : 用 极限 行为 和 数据 压迫 软件 。 
O 流 测 试 : 测试 软件 的 操作 顺序 。 
口 情景 测试 : 用 有 说 服 力 的 场景 来 测试 软件 。 
O 声明 测试 : 测试 需求 规格 、 广 告 宣传 等 文档 的 声明 。 
口 用 户 测试 : 邀请 用 户 参 与 测试 。 
口 风险 测试 : 猜测 软件 可 能 发 生 的 错误 ， 然 后 寻找 它 。 
口 自动 测试 : 用 工具 和 自动 化 技术 来 多 角度 地 检查 软件 。 


项 目 环 境 : 资源 、 约 束 和 其 他 影响 测试 的 项 目 元 素 。 测试 总 是 受到 项 目 环境 的 约束 。 在 某 个 
团队 运转 良好 的 策略 不 一 定 适合 男 一 个 相似 的 团队 ， 以 往 宣 有 成 效 的 方法 未 必 适 应 当前 的 项 目 。 
有 经 验 的 测试 人 员 会 根据 当前 语 境 ， 选 择 合适 的 测试 实践 。 项 目 环境 包括 如 下 几 个 方面 。 


O 使 命 : 测试 人 员 和 其 服务 对 象 需要 就 测试 人 员 的 任务 达成 一 致意 见 。 


C= 


O http://www.satisfice.com/tools/htsm.pdf. 


85° 


a 第 4 章 测试 建 模 


口 信息 : 测试 所 需 的 有 关 产 品 和 项 目 信息 。 

口 开发 者 关系 : 如 何 与 开发 者 协作 以 加 速 开发 。 
口 测试 团队 : 利用 团队 的 力量 支持 测试 。 
口 设备 与 工具 : 可 利用 的 硬件 、 软 件 和 文档 等 资源 。 
口 进度 : 项 目 实施 的 流程 
口 测试 条 目 : 测试 范围 和 重点 。 
O 交付 品 : 测试 人 员 的 产 出 。 


产品 元 素 : 需要 测试 的 对 象 , 包括 如 下 几 个 方面 (2.2.2 节 从 测试 覆盖 的 角度 详细 讨论 了 产品 
TER )。 


O 结构 : 产品 的 物理 元 素 ， 如 代码 、 硬 件 、 配 置 文件 、 数 据 文件 等 。 
口 功能 : 产品 的 功能 。 

口 数据 : 产品 所 操作 的 数据 。 

口 接口 : 产品 所 使 用 的 或 暴露 出 的 接口 。 

口 平台 : 产品 所 依赖 的 外 部 元 素 。 

口 操作 : 使 用 产品 的 方式 。 

口 时 间 : 影响 产品 的 时 间 因 素 。 


质量 标准 : 产品 需要 考虑 的 质量 特性 ， 包 括 如 下 儿 个 方面 。 


O 能 力 : 产品 能 否 完 成 期 望 的 功能 ? 

O 可 靠 性 : 产品 能 否 在 期 望 的 条 件 下 稳定 的 工作 ? 

口 可 用 性 : 真实 用 户 能 否 顺 利 地 使 用 产品 ? 

口 魅力 : 产品 是 否 光 彩 夺 目 ? 

口 安全 性 : 产品 能 和 否 抵御 恶意 攻击 ? 

O 可 伸缩 性 : 产品 能 否 自如 地 使 用 软 硬 件 资源 ? 

O 兼容 性 : 产品 能 否 与 外 部 组 件 和 配置 协同 工作 ? 

O 性 能 : 产品 的 速度 和 响应 如 何 ? 

口 可 安装 性 : 产品 是 否 易 于 安装 ? 

口 面向 研发 团队 的 特性 : 研发 团队 能 否 方便 地 编写 、 测 试 和 修改 软件 ? 


由 以 上 介绍 可 知 ，HTSM 由 一 组 指导 性 词语 组 成 ， 它 们 构成 一 个 概念 框架 ， 让 测试 人 员 从 高 
层 抽象 到 底层 细节 对 产品 和 测试 进行 思考 。 这 些 指导 性 词汇 是 测试 的 指南 ， 其 作用 不 是 教导 如 何 
具体 测试 ， 而 是 启发 测试 人 员 的 思维 ， 发 掘 测试 对 象 和 测试 策略 。 

图 4-6 摘 录 自 James Bach 的 测试 培训 教材 [Bach11]， 体 现 了 HTSM 对 于 测试 设计 的 意义 。 

口 测试 设计 以 风险 驱动 。 测 试 人 员 分 析 质 量 标准 、 项 目 环境 和 产品 元 素 中 的 风险 ， 设 计 有 
针对 性 的 测试 策略 。 


o 
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| 质量 标准 启发 测试 先知 ， 项 目 环境 启发 测试 过 程 ， 产 品 元 素 启发 测试 覆 
， 观 察 到 的 质量 启发 测试 报告 

O 对 于 测试 ，HTSM 强 调 测试 策略 的 多 样 性 ,平衡 代 价 和 收益 ， 和 用 启发 式 方法 充分 发 挥 
试 人 员 的 技能 。 


风险 


项 目 环境 


合 
测试 先知 测试 覆盖 风险 


测试 技术 
多 样 性 

He Aiea 

启发 式 方法 


项 目 元 素 


测试 报告 


观察 到 的 质量 
图 4-6 HTSM 中 的 测试 先知 、 测 试 过 程 、 测 试 覆 盖 和 测试 报告 
因为 HTSM 是 一 个 框架 , 测试 人 员 可 以 用 它 对 测试 方法 分 类 ， 从 而 更 好 地 理解 这 些 测试 方法 
的 着 眼 点 。 例 如， 表 4-4 记 录 了 一 些 测试 文档 在 HTSM 中 的 位 置 ， 对 于 识别 这 些 文档 的 作用 和 关系 
有 一 定 帮助 。 


表 4-4 ”测试 文档 在 HTSM 中 的 概念 


测试 文档 在 HTSM 中 的 概念 

Google ACC 之 属性 HTSM 一 质量 标准 一 魅力 

Google ACC 之 部 件 HTSM 一 产品 元 素 一 结构 
HTSM 一 产品 元 素 一 功能 

Google ACC 之 能 HISM 一 质量 标准 一 能 

功能 列表 HTSM 一 产品 元 素 一 功能 
HTSM 一 测试 技术 一 功能 测试 

测试 想法 列表 HTSM 一 测试 技术 

质量 属性 列表 HTSM 一 质量 标准 

缺陷 目录 HTSM — 质量 标准 

测 程 表 HTSM 一 项 目 环 境 一 交付 物 
HTSM 一 观察 到 的 质量 
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在 定制 化 之 前 ，HTSM 对 测试 人 员 的 帮助 很 小 ， 因 为 此 时 的 HTSM 是 “James Bach 的 模型 ”， 
而 不 是 符合 当前 语 境 的 模型 。HTSM 是 通用 的 模型 ， 虽 然 能 够 普遍 应 用 ， 但 是 不 能 快速 、 高 效 地 
指导 具体 的 测试 工作 。 测 试 人 员 需 要 将 其 “本 地 化 ”， 才 能 发 挥 其 威力 。 

Cem Kaner 用 思维 导 图 "定制 自己 的 HTSM [Kaner11]。 如 图 4-7 所 示 ， 他 将 HTSM 作 为 中 心 ， 
将 质量 标准 、 测 试 技术 、 项 目 环 境 、 产 品 元 素 作为 主干 。 


图 4-7 思维 导 图 形式 的 HTSM 


在 分 文 上 ，CemKaner 添 加 了 他 觉得 重要 的 节点 。 例 如 ， 在 图 4-8 中 ,他 在 产品 元 素 下 增加 了 
优点 节点 和 时 间 节 点 (其 中 时 间 节 点 来 自 测 试 专家 Michael Bolton 的 建议 ), 以 满足 他 的 工作 需要 。 


时 间 (来 自 Botton) | 
图 4-8 ”通过 增加 节点 来 定制 HTSM 

恰 如 Cem Kaner 所 说 ,“ 大 多 数 严 肃 对 待 此 模型 的 人 都 会 定制 它 以 符合 自己 的 需要 ”， 测试 人 
员 应 该 修改 HTSM， 以 获得 符合 项 目 语 境 的 模型 。 定 制 HTSM 是 理解 并 擎 握 HTSM 的 过 程 。 与 大 
多 数 方法 一 样 ， 测试 人 员 需 要 修改 它 , 加 入 自己 的 风格 和 元 素 , 才能 真正 掌握 它 。 以 下 是 一 些 常 
见 的 修改 手段 。 
口 增加 节点 : 增加 与 当前 项 目 相关 的 测试 技术 、 测 试想 法 、 测 试 对 象 和 任何 测试 人 员 认 为 
有 价值 的 元 素 。 
O 删 减 节点 : 忽略 一 些 与 项 目 或 任务 无 关 的 元 素 。 
O 增加 标记 、 注 释 、 链 接 等 元 素 ; 标记 可 以 突显 重要 的 元 素 ， 注 释 可 以 增加 更 多 的 细节 ， 

链接 可 以 指向 更 详细 的 信息 源 。 


O 测试 专家 Michael Larsen 在 XMind.net 上 提供 了 他 制作 的 HTSM 思 维 导 图 ( http://www.xmind.net/share/mkltesthead/ ), 
为 测试 人 员 制 作 自己 的 HTSM 提 供 了 很 好 的 范例 。 
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定制 HTSM 也 是 应 用 HTSM 的 过 程 。 测 试 人 员 遵循 HTSM 的 结构 ， 深 入 地 思考 产品 、 项 目 与 
测试 ， 添 加 自己 的 想法 、 评 论 、 标 记 和 启发 式 问 题 。 这 本 身 就 是 极 好 的 测试 学 习 过 程 。 作 为 学 习 


的 结果 , 定制 后 的 HTSM 为 测试 设计 提供 
学 习 新 知识 。 他 会 持续 地 将 新 知识 补充 到 HTSM 中 ,以 迭代 地 优化 涡 


EF 了 坚实 的 基础 。 在 测试 过 程 中 , 测试 人 员 会 接触 新 信息 ， 
I 试 模型 。 从 这 个 角度 , HTSM 


既是 测试 想法 的 源头 ， 又 是 测试 过 程 的 产 出 。 在 测试 设计 时 ， 测 试 人 员 可 以 逐个 检查 HTSM 中 的 


元 素 ( 指导 性 词语 )， 阅 读 相 关 标 记 、 注 释 和 链接 ， 以 启发 测试 思路 。 他 可 以 自问 : 


口 该 元 素 与 当前 测试 任务 相关 吗 ? 

O 针对 该 元 素 ， 产 品 有 什么 风险 ? 可 能 会 有 什么 缺陷 ? 
口 通过 什么 测试 可 以 发 现 这 些 缺 陷 ? 

O 依据 当前 的 进度 和 资源 ， 如 何 实施 这 些 测试 ? 


男 一 种 更 有 威力 的 方法 是 综合 HTSM 中 的 多 个 元 素 ， 开 发 测试 策略 。 当 程序 员 用 单元 测试 检 
查 了 组 件 ,测试 人 员 需 要 在 系统 层面 检查 产品 。 此 时 , 产品 的 缺陷 往往 存在 于 组 件 的 交互 和 复杂 
的 流程 。 综 合 产品 的 多 个 方面 , 开发 多 样 的 测试 才能 够 更 好 地 体现 测试 人 员 的 价值 。 一 些 有 帮助 
的 局 发 式 问题 包括 以 下 几 点 。 


口 该 元 素 与 哪些 元 素 相关 ? 

口 元 素 的 组 合 有 没有 揭示 出 新 的 风险 ? 

口 如 何 设计 测试 ， 以 同时 测试 这 些 元 素 ? 

O 能 否 让 来 自 元素 A 的 信息 帮助 元 素 B 的 测试 ? 


通过 思考 这 些 问题 , 测试 人 员 可 以 设计 出 强 有 力 的 测试 策略 。 例如，3.2.4 厄 给 出 了 一 个 复杂 
的 情景 测试 , 用 于 回归 测试 PowerPoint 的 图 片 功 能 。 为 了 方便 读者 阅读 , 在 此 将 该 测试 复述 如 下 。 


(1) 新 建 一 个 PowerPoint 文 档 。 
(D 向 文档 中 搬入 图 片 。 


口 复 再 


O 覆盖 所 有 文 持 的 


图 片 格式 。 


典型 的 图 片 尺 寸 。 


口 覆盖 来 自 单 反 相 机 的 大 型 图 片 。 


(3) 操作 文档 中 的 图 片 。 


口 用 一 
口 用 多 


个 命令 


个 命令 


修改 
修改 


口 覆盖 “图 片 工 具 ” 下 的 所 有 命令 。 


图 片 。 
图 片 。 


O 保持 一 些 图 片 不 被 修改 。 


(4) 应 用 文档 中 的 图 片 。 
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口 将 图 片 与 其 他 元 素 组 合 使 用 。 
口 覆盖 文本 框 、 形 状 、SmartArt、 图 表 、 日 期 与 时 间 等 元 素 。 


(5) 将 文档 中 的 元 素 导 出 为 图 片 。 


口 覆盖 所 有 可 以 被 输出 的 元 素 : W, R, EIR, SmartArt, HARS, 

口 覆盖 所 有 支持 的 图 片 格式 。 

O 覆盖 相关 的 用 户 界 面 命令 : 上 下 文 菜 单 ( 即 右键 弹出 菜单 )、Backstage (点击 “ 文 件 ” 一 
“导出 ”一 “改变 文件 类 型 ” )、 复 制 并 粘贴 到 画图 板 。 

口 覆盖 相关 的 VBA 对 象 模型 。 


(6) 打印 该 文档 。 


口 打印 到 黑白 打印 机 。 
O 打印 到 彩色 打印 机 。 
口 打印 到 PDF 文 档 。 
口 打印 到 XPS 文 档 。 


(7) 保存 该 文档 并 重新 打开 。 


口 男 存 为 所 有 支持 的 格式 。 
口 用 PowerPoint 打 开 生 成 的 文档 。 
口 用 旧版 本 PowerPoint 打 开 生 成 的 文档 。 


分 析 以 上 测试 步骤， 不 难看 出 该 测试 涵盖 了 “HTSM- 产品 元 素 ” 分 支 的 所 有 元 素 。 


一 


口 结构 : 测试 覆盖 了 位 于 powerpnt,exe ( PowerPoint 的 可 执行 程序 )、mso.dll ( 提供 图 片 功能 
的 动态 链接 库 ) 等 文件 的 代码 。 

O 功能 : 测试 覆盖 了 创建 文件 、 导 入 图 片 、 修 改 图 片 、 应 用 图 片 〈 将 图 片 与 其 他 元 素 组 合 
使 用 )、 导 出 图 片 、 打 印 文件 、 读 写 文件 等 功能 。 

口 数据 : 测试 覆盖 了 不 同 的 导入 图 片 类 型 、 导 入 图 片 尺寸 、 导 出 图 片 类 型 。 此 外 , 使 用 “图 
片 工 具 ” 的 命令 修改 图 片 也 产生 了 新 的 图 片 数 据 。 

口 接口 : 测试 覆盖 了 用 户 界面 和 编程 接口 (VBA 对 象 模型 )。 

口 平台 : 测试 覆盖 率 多 种 打印 机 类 型 ， 包 括 彩 色 打 印 机 、 黑 白 打印 机 、 虚 拟 打印 机 (PDF 
和 XPS )。 
口 操作 : 测试 用 不 同 的 命令 修改 图 片 ， 用 不 同 的 命令 序列 修改 图 片 。 

O 时 间 : 测试 覆盖 了 插入 日 期 与 时 间 、 打 印 日 期 与 时 间 、 读 写 文件 中 的 日 期 与 时 间 。 


由 这 个 例子 不 难看 出 ， 构 建 模 型 是 简化 和 聚焦 的 过 程 ， 应 用 模型 则 是 扩展 和 发 散 的 过 程 。 
O 在 创建 模型 时 ,测试 人 员 将 复杂 的 项 目 和 软件 抽象 为 相对 简单 的 元 素 和 关联 ， 将 注意 力 
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集中 在 他 认为 重要 的 因素 上 ， 而 省 略 其 他 细节 。 一 个 精炼 的 模型 易于 理解 、 易 于 应 用 ， 
而 一 个 过 于 庞杂 的 模型 则 让 人 抓 不 到 重点 ， 反 而 不 利于 测试 实战 。 
O 在 使 用 模型 时 ,测试 人 员 用 模型 激发 测试 灵感 ， 通 过 发 散 思维 构思 出 多 种 多 样 的 测试 设 
计 。 模 型 是 知识 和 经 验 的 浓缩 ， 其 简要 的 形式 是 思考 的 起 点 ， 而 不 是 思考 的 边界 。 测 试 
员 需 要 充分 利用 模型 蕴含 的 知识 去 产生 尽 可 能 多 的 测试 想法 ， 以 扩大 测试 覆盖 。 


除了 综合 HTSM 中 一 个 分 支 的 元 素 , 测试 人 员 还 可 以 综合 不 同 分 支 的 元 素 。 例如 Google ACC 
模型 就 覆盖 了 多 个 分 支 的 元 素 : 属性 对 应 “HTSM 一 质量 标准 一 魅力 ”, 部 件 对 应 “HTSM 一 产 
品 元 素 一 结构 ”和 “HTSM 一 产品 元 素 一 功能”， 能 力 对 应 “HTSM 一 质量 标准 一 能 力 ”。 用 
多 个 角度 考察 软件 ， 能 够 开发 出 强力 测试 策略 ， 达 到 事半功倍 的 效果 。 


总 之 ，HITSM 是 一 个 由 测试 指导 词组 成 的 测试 模型 ， 能 够 在 整个 测试 过 程 提供 帮助 。 在 制订 
测试 计划 初稿 时 ， 它 可 以 帮助 测试 人 员 完整 地 思考 产品 ， 从 而 产生 系统 性 的 测试 计划 。 在 测试 过 
程 中 , 它 可 以 帮助 测试 人 员 组 合 测试 想法 、 深 入 探索 产品 ， 以 开发 出 强 有 力 的 测试 策略 。 在 回归 
测试 中 ， 它 可 以 帮助 测试 人 员 确 定 测试 范围 ， 制 定 测 试 方案 。 


4.2.2 输入 与 输出 模型 


输入 与 输出 模型 (简称 IO 模 型 ) 是 最 基本 的 测试 模型 , 它 将 被 测 对 象 ( 功能、 模块、 系统 等 ) 
视 为 一 个 整体 , 分 析 并 列举 该 对 象 的 输入 变量 和 输出 变量 。 在 大 多 数 测试 中 , 测试 人 员 都 会 有 意 
或 无 意 地 使 用 IO 模型 , 因为 它 反映 了 测试 的 基本 需求 : 掌握 输入 变量 可 以 控制 或 影响 被 测 对 象 的 
行为 ， 掌握 输出 变量 可 以 观察 行为 的 后 果 ， 从 而 检查 其 是 否 正 确 。 


图 4-9 是 Cem Kaner 和 Doug Hoffman 描 绘 的 被 测 系统 的 输入 和 输出 [Kaner08c]， 体 现 了 构建 相 
对 完整 的 IO 模 型 需要 考虑 多 个 因素 。 


有 意 的 输入 


系统 状态 
被 监控 的 输出 


一 > 被 测 系统 一 一 > 


来 自 协作 的 进程 、 客 户 发 给 协作 的 进程 、 客 户 
端 或 服务 器 的 输入 端 或 服务 器 的 输出 


图 4-9 ”被 测 系统 的 输入 与 输出 
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在 输入 方面 ， 值 得 考虑 的 因素 包括 以 下 几 点 。 


口 有 意 的 输入 : 为 了 完成 某 项 任务 ， 用 户 有 意识 地 操控 软件 所 产生 的 输入 。 

口 无 意 的 输入 : 用 户 无 意 间 产生 的 输入 。 对 此 ， 测 试 专家 Jonathan Kohl 分 享 过 一 个 故事 
[Kohl12]。 某 个 平板 电脑 上 的 软件 在 测试 时 很 稳定 , 但 在 演示 时 总 是 出 错 。 经 过 反复 测试 ， 
Kohl 发 现 了 错误 原因 。 演 示 时 ， 第 一 位 演示 者 会 将 平板 递 给 第 二 位 演示 者 。 在 交接 的 瞬 
间 ， 两 个 人 都 握 着 平板 电脑 ， 这 导致 屏幕 上 产生 多 个 触 点 信号 ， 而 且 移动 所 产生 的 惯性 
使 加 速 感 应 器 发 出 信号 。 该 软件 不 能 很 好 地 处 理 多 个 并 发 的 信号 ， 于 是 出 错 。 该 案例 说 
明 ， 测试 人 员 需 要 仔细 观察 他 人 和 自己 的 行为 ， 发 现 认 知 的 盲点 ， 才 能 找到 一 些 被 忽视 
的 重要 输入 。 

口 程序 状态 : 程序 自身 的 状态 ， 通 常 包含 内 存 中 的 数据 和 程序 依赖 的 外 部 数据 。 例 如 ， 许 
多 Web 应 用 会 从 数据 库 中 加 载 数据 , 也 会 把 数据 更 新 写 回 数据 库 , 而 这 些 数据 值 很 可 能 决 
定 了 Web 应 用 的 行为 。 

O 系统 状态 : 程序 所 依赖 的 运行 平台 的 状态 。 例 如 ， 当 用 户 切 换 Windows 8 应 用 时 ， 操 作 系 
统 会 向 被 换 出 的 应 用 发 出 “ 挂 起 ”事件 ， 疝 换 入 的 应 用 发 出 “恢复 ”事件 。 对 于 一 款 应 
用 而 言 ， 它 要 快速 响应 “ 挂 起 ”事件 ， 在 系统 规定 的 5 秒 内 保存 必要 的 自身 状态 ， 它 还 要 
正确 响应 “恢复 ”事件 ， 来 加 载 已 保存 的 状态 ， 提 供 流 畅 的 用 户 体验 。 对 此 ， 测 试 人 员 
应 该 构造 多 个 “ 挂 起 ”和 “恢复 ”事件 的 序列 ， 以 检查 软件 的 相关 功能 。 

口 配置 与 系统 资源 : 影响 软件 行为 的 配置 和 平台 资源 。 例 如 ， 软 件 执行 某 个 操作 时 需要 大 
量 的 内 存 。 在 一 台 4GB 内 存 的 机 器 上 ， 该 操作 较 容易 失败 ， 在 一 台 16GB 内 存 的 机 器 上 ， 
该 操作 就 不 容易 失败 。 然 而 ， 内 存 资源 被 同一 台 计算 机 上 的 进程 所 共享 。 如 果 其 他 进程 
占据 了 大 部 分 内 存 ， 该 操作 仍旧 会 失败 。 

口 来 自 协 作 的 进程 、 客 户 端 或 服务 器 的 输入 。 例 如 ， 对 于 必 应 词典 ,来 自 必 应 服务 器 的 单 

词 解释 就 是 很 重要 的 输入 数据 。 


在 输出 方面 ， 值 得 考虑 的 因素 包括 以 下 几 点 。 


O 被 监控 的 输出 : 被 用 户 观察 到 的 软件 输出 。 

O 未 被 监控 的 输出 : 没有 被 监控 或 没有 被 观察 到 的 输出 。 例 如 ， 必 应 词典 可 以 将 一 个 单词 
“添加 到 生词 本 ”， 该 操作 会 将 一 条 记录 写 人 一 个 本 地 的 数据 库 。 对 于 不 了 解 实现 细节 的 
用 户 或 测试 人 员 ， 该 输出 几乎 是 “不 可 见 ” 的 。 如 果 测 试 人 员 发 现 了 该 输出 变量 ， 他 很 
容易 产生 一 批 测试 想法 ， 如 测试 数据 库 丢 失 、 数 据 库 损坏 、 数 据 库容 量 耗 尽 等 情况 。 

口 程序 状态 : 程序 自身 的 状态 , 通常 包含 内 存 中 的 数据 和 程序 依赖 的 外 部 数据 。 例 如 ，Web 
应 用 会 将 用 户 提 交 的 数据 写 入 数据 库 。 测 试 人 员 需 要 检查 其 输出 的 数据 是 否 正 确 、 是 否 
被 正确 地 写 和 人 数据库。 如 果 所 提 及 的 数据 包含 错误 甚至 恶意 代码 ， 测 试 人 员 要 检查 Web 
应 用 不 会 写 人 错误 数据 或 破坏 数据 库 。 

口 系统 状态 : 软件 运行 会 修改 运行 平台 的 状态 ， 这 可 能 对 平台 和 平台 之 上 的 其 他 进程 产生 
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影响 。 例 如 ， 软 件 为 了 完成 计算 会 临时 性 地 锁 住 某 个 文件 ， 此 时 其 他 尝试 访问 该 文件 的 
进程 都 会 遭遇 访问 失败 。 

对 相连 设备 和 系统 资源 的 影响 。 我 开发 过 一 个 测试 程序 ， 它 整 晚 运行 测试 用 例 。 部 署 后 
的 隔 天 ， 我 发 现 运 行 该 测试 程序 的 计算 机 失去 响应 。 重 启 机 器 后 ， 我 对 测试 程序 进行 了 
调试 ， 发 现 它 存 在 一 个 内 存 泄漏 的 错误 。 短 时 间 运 行 该 程序 ， 不 会 产生 严重 的 后 果 ， 但 
是 整 晚 运行 会 耗 尽 计算 机 的 可 用 内 存 ， 导 致 计算 机 失去 响应 。 

发 给 协作 的 进程 、 客 户 端 或 服务 器 的 输出 。 例 如 ， 必 应 词典 在 接受 用 户 输入 的 单词 后 ， 
会 构造 一 个 HTTP 请 求 ， 将 它 发 送 给 必 应 服务 嚣 。 该 HTTP 请 求 可 视 为 它 对 用 户 输入 的 
输出 ， 测 试 人 员 需 要 检查 该 输出 是 否 正 确 、 构 造 并 发 送 请 求 的 性 能 是 否 达到 预期 等 
内 容 。 


由 以 上 讨论 可 知 , 为 了 建立 完整 的 IO 模 型 , 测试 人 员 需 要 从 多 个 角度 考察 被 测 对 象 和 相关 系 


口 


口 


统 。 为 此 ， 他 可 以 研究 项 目 文档 , 咨询 产品 经 理 ， 请 教程 序 员 ， 并 通过 测试 来 建立 IO 模型 。 测 试 


实际 的 产品 ， 获 取 第 一 手 的 资料 ， 很 可 能 发 现 一 些 其 他 渠道 不 能 获得 的 信息 。 
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3.2.13 节 介绍 了 基于 测 程 的 测试 管理 ( Session-Based Test Management, SBTM )。 许 多 测试 小 


组 并 不 使 用 SBTM 组 织 测试 活动 , 但 这 并 不 妨碍 测试 人 员 用 测 程 来 管理 自己 的 时 间 。 在 SBTM 中 ， 
则 程 有 4 个 特点 : 主题 、 时 间 盒 、 可 评审 的 结果 和 简报 [Bach04a]。 当 测试 人 员 自 己 运用 测 程 时 ， 
通常 不 需要 做 简报 ， 于 是 主题 、 时 间 盒 和 可 评审 的 结果 是 他 考虑 的 重点 。 


口 主题 是 一 个 具体 的 测试 任务 ， 它 可 以 在 90 分 钟 的 时 间 盒 内 完成 ， 并 提供 有 价值 的 结果 。 
一 个 值得 参考 的 主题 模板 是 :“ 使 用 ( 资源 )， 探 索 ( 特定 对 象 )， 以 求 发 现 (信息 》” 
[Hendrickson13]。 对 于 构建 IO 模型 ， 主 题 可 以 是 “利用 Fiddler 等 网 络 工 具 ， 分 析 必 应 词典 
与 服务 器 的 通信 ， 以 了 解 必 应 词典 与 服务 器 的 输入 输出 关系 ”““ 利 用 Process Monitor 等 调 
试 工具 ， 探 索 必 应 词典 ， 以 了 解 它 对 操作 系统 的 读 写 操作 ”等 。 

口 时 间 盒 是 一 段 不 受 打 扰 的 测试 时 间 ， 一 般 为 60~120 分 钟 。 测 试 人 员 可 以 根据 主题 确定 合 

适 的 时 长 。 在 此 期 间 ， 测 试 人 员 专 注 于 工作 ， 不 进行 与 测 程 无 关 的 活动 。 

口 可 评审 的 结果 是 测 程 的 产 出 。 对 于 构建 IO 模型 ， 测 程 的 产 出 就 是 被 测 对 象 的 IO 模型 ， 它 
可 以 是 一 份 列 表 ， 记 录 了 所 发 现 的 输入 变量 和 输出 变量 。 测 试 人 员 可 以 将 IO 模型 记 入 测 
试 笔记 ， 为 今后 的 测试 提供 参考 ， 也 可 以 将 它 分 享 给 测试 小 组 ， 使 知识 得 以 传播 。 


面 对 一 个 复杂 的 被 测 对 象 , 测试 人 员 可 以 安排 一 个 测 程 去 产生 它 的 IO 模型 。 如 果 测 试 对 象 非 


常 复杂 , 他 可 以 安排 一 组 测 程 去 生成 其 IO 模型 的 不 同 部 分 ,最 终 获 得 完整 的 模型 。 此 类 测 程 通常 
使 用 一 些 漫游 测试 方法 〈 漫游 测试 将 在 5.4 节 讨论 )， 来 探索 软件 的 各 个 方面 。 


测 程 通常 要 使 用 一 些 软件 工具 。 由 图 4-9 所 列 的 输入 和 输出 因素 可 知 ， 构 建 IJO 模 型 需要 分 析 


软件 状态 、 它 与 操作 系统 的 交互 、 它 与 其 他 软件 和 服务 的 交互 。 不 使 用 工具 去 查看 软件 和 交互 的 
内 部 细节 ， 很 难 实 施 完 整 的 分 析 。 在 Windows 平 台 上 ， 我 常 使 用 表 4-5 所 列 的 软件 工具 。 
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#4-5 ”Windows 平 台 的 常用 测试 分 析 工 具 
T R m 介 

Windbg® Windbg 可 以 调试 Windows 应 用 和 Windows 操 作 系 统 。 我 常 使 用 它 观察 原生 程序 和 托 
管 程序 的 状态 ” 

Process Explorer” Process Explorer 可 以 提供 任意 进程 的 详细 信息 ， 包 括 程序 路 径 、 命 令 行 参数 、 性 角 
指标 (CPU、 内 存 、IO、GPU、.NET) 、 名 柄 、 模 块 、 线 程 和 环境 变量 等 

Process Monitor® Process Monitor 可 以 监视 并 记录 一 组 进程 对 广 册 表 、 文 件 系统 和 网 络 的 访 阿 。Process 
Explorer 提 供 了 进程 的 当前 状态 ，Process Monitor 则 提供 了 进程 一 段 时 间 的 运行 轨 
迹 ， 综 合 使 用 可 以 了 解 进程 与 进程 、 进 程 与 操作 系统 之 间 的 互动 ” 

Fiddler® Fiddler 是 一 个 Web 调 试 代 理 ， 能 够 记录 并 实时 修改 计算 机 与 网 络 服务 器 之 间 的 
HITP(S) 通 信 。 我 常 使 用 它 观 察 软 件 与 服务 器 的 交互 

Windows Performance Toolkit” Windows Performance Toolkit§t Windows 8 SDK 中 的 性 能 分 析 工 具 ,， 可 以 详细 地 记录 
一 组 进程 的 性 能 指标 、 调 用 栈 、 调 用 耗 时 等 信息 ， 对 于 理解 进程 性 能 、 进 程 间 互动 、 

进程 与 操作 系统 间 互 动 很 有 帮助 

SQL Server Management Studio® SQL Server Management Studio 是 SQL Server 数 据 库 的 管理 工具 。 我 常 使 用 它 查 看 被 

测 应 用 的 数据 库 ， 以 理解 数据 组 织 方式 和 数据 状态 


Fe 
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EWF, MRAR WAS SHTSMAY “Pinca”, MAR, WAE, Bo. HO FR, 
操作 、 时 间 等 多 方面 来 发 掘 变量 。 


口 结构 : 搜索 软件 所 使 用 的 文件 。 例 如 , 使 用 Process Explorer 查 看 软件 打开 了 哪些 文件 句柄 ， 
使 用 Process Monitor 查 看 软件 曾经 访问 过 哪些 文件 。 

O 功能 : 遍历 用 户 界面 ， 搜 索 隐 藏 的 功能 ， 分 析 功 能 列 含 的 变量 。 

口 数据 : 检查 软件 可 以 接纳 、 拥 有 、 处 理 、 输 出 哪些 数据 ， 尝 试 不 同 的 数据 类 型 和 数据 范 
围 , 例 如 ,使 用 Fiddler 查 看 软件 与 其 他 软件 的 通信 数据 ,使 用 SQL Server Management Studio 

查看 软件 对 数据 库 的 读 写 。 

口 接口 : 发 掘 软件 提供 的 接口 和 软件 使 用 的 接口 。 例 如 ， 有 些 软件 会 注册 一 些 操作 系统 事 
件 的 处 理 函 数 ， 当 操作 系统 触发 事件 时 ， 相 应 的 处 理 函 数 会 被 执行 。 测 试 人 员 要 发 现 这 


© http://msdn.microsoft.com/en-us/windows/hardware/gg463009.aspx. 

© 关于 Windbg 的 更 多 信息 可 以 参考 Inside Windows Debugging ( http://book.douban.com/subject/10575139/ ) « Windows 
高 级 调试 》( http://book.douban.com/subject/3781532/ )、《 .NET 高 级 调试 》( http://book.douban.com/subject/ 
5346548/ ) 和 《Windows 用 户 态 程序 高 效 排 错 》( http://www.cnblogs.com/lixiong/archive/2010/02/11/1667516.html )。 

® http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx。 

@ http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx。 

© 关于 Process Explorer 和 Process Monitor 的 更 多 信息 可 以 参考 工具 作者 Mark Russinovich K Windows Sysinternals 
Administrator’s Reference ( http://book.douban.com/subject/3794381/ )。 

© http://www.fiddler2.conyfiddler2/。 

@ http://msdn.microsoft.com/en-us/windows/desktop/hh852363.aspx。 

Inside Windows Debugging ( http://book.douban.com/subject/10575139/ ) 详细 介绍 了 Windows Performance Toolkit 的 
前 身 xperft， 对 于 理解 Windows Performance Toolkit 也 很 有 帮助 。 

© http://www.microsoft.com/sqlserver/en/us/default.aspx o 
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些 事件 和 处 理 函 数 。 
口 平台 : 探索 影响 软件 的 外 部 元 素 ， 包 括 操作 系统 、 操 作 系统 上 的 其 他 进程 〈 例 如 网 络 防 
火 墙 可 能 会 影响 网 络 程序 的 行为 ) 与 软件 协作 的 其 他 服务 等 。 
O 操作 : 检查 不 同 的 操作 步骤 、 使 用 方法 、 配 置 参数 是 否 产生 了 不 同 的 结果 。 考 虑 用 户 的 
使 用 情景 ， 发 掘 其 中 的 关键 因素 。 
口 时 间 : 搜索 与 时 间 相 关 的 变量 。 


n 搜索 由 时 间 点 触发 的 事件 。 例 如 ， 用 户 在 智能 手机 上 设置 了 闵 钟 提醒 。 在 预 设 的 时 间 
点 ， 手 机 操作 系统 会 弹出 提示 ， 该 提示 对 于 当前 通话 或 当前 应 用 有 何 影响 ? 

m 搜索 由 时 间 段 或 时 限 触发 的 事件 。 常 见 的 例子 是 “超时 ”设置 会 中 断 当前 处 理 的 业务 。 

n 搜索 周期 性 的 事件 。 例 如 每 天 、 每 月 、 每 年 会 执行 的 操作 。 考 虑 这 些 操作 是 否 会 导致 
意外 的 情况 ， 例 如 一 些 财 会 软件 会 在 每 日 零 时 结算 前 一 天 的 业务 。 如 果 某 项 业务 的 处 
理 跨 越 零 时 ， 会 不 会 产生 问题 ? 

n 检查 是 否 存在 跨 时 区 的 业务 ， 考 虑 这 些 业务 有 哪些 关键 变量 。 

n 考虑 用 户 和 其 他 软件 的 输入 速度 。 有 些 软件 不 能 处 理 快 速 的 输入 ， 会 导致 数据 丢失 。 

n 探索 最 长 的 计算 过 程 。 这 些 漫 长 的 计算 过 程 会 伴随 着 资源 泄漏 吗 ?” 如果 遭 遇 中 晰 或 异 
常 ， 它 们 可 以 恢复 并 继续 计算 吗 ? 


有 些 变量 对 应 了 用 户 界面 控件 ， 较 容易 发 现 ; 有 些 变量 不 存在 “可 视 的 ”界面 元 素 ， 容 易 被 
忽视 。 以 下 是 一 些 常见 的 “隐藏 ”变量 ， 供 读者 参考 。 


O 操作 系统 事件 。 操 作 系统 会 向 软件 发 送 各 种 消息 ,软件 需 要 合理 地 处 理 。 例 如 ，Windows 

在 关机 时 ， 会 向 应 用 发 出 WM_SHUTDOWN 消 息 。 大 多 数 软件 会 忽略 该 消息 ， 少 数 软件 

会 根据 该 消息 做 一 些 清 理工 作 〈 如 保存 数据 、 清 除 临 时 文件 等 )。 测 试 人 员 需 要 向 产品 经 

理 和 程序 员 咨 询 ， 并 做 一 些 实验 ， 以 发 现 软件 需要 处 理 的 操作 系统 事件 。 

设备 事件 。 在 智能 手机 等 移动 设备 上 ， 硬 件 传感器 〈 如 触 屏 、 陀 螺 仪 、 加 速 感应 器 、 光 

线 感应 器 、GPS 等 ) 会 发 出 大 量 的 信号 。 测试 人 员 需 要 检查 移动 应 用 正确 地 处 理 了 必要 的 

信和 号， 忽略 了 无 关 的 信号 。 

中 断 事件 。 用 户 在 使 用 软件 时 ， 操 作 系 统 或 其 他 软件 可 能 中 断 当 前 情景 。 例 如 ， 用 户 在 

使 用 智能 手机 应 用 时 ， 一 个 拨 入 的 电话 会 中 断 当 前 应 用 。 再 例如 ， 用 户 一 边 走 一 边 使 用 

移动 应 用 , 操作 系统 突然 提示 附近 有 可 用 的 Wi-Fi 热 点 , 该 通知 也 中 断 了 当前 应 用 的 流程 。 

测试 人 员 需 要 调查 当前 平台 可 能 触发 哪些 中 断 事 件 ， 并 将 它们 用 于 测试 。 

口 用 户 输入 方式 。 随 着 软 硬 件 的 发 展 ， 用 户 输入 方式 也 日 趋 多 样 : 物理 键盘 输入 、 屏 幕 键 

盘 输 入 、 鼠 标点 击 、 鼠 标 拖 忠 、 鼠 标 手势 、 触 措 、 触 摸 拖 动 、 触 摸 手 势 、 语 音 输入 、 手 
写 输入 等 。 测 试 人 员 需 要 发 现 当前 平台 可 以 接收 的 输入 方式 ， 并 用 于 测试 。 

O 数据 类 型 。 例 如 ， 对 于 图 像 处 理 软 件 ， 图 片 类 型 是 重要 的 变量 ,， PNG、JPG、GIF 等 不 同 
类 型 的 图 片 可 能 会 产生 不 同 的 结 
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口 数据 大 小 。 大 尺寸 的 数据 可 能 会 导致 性 能 问题 或 计算 错误 ， 因 此 数据 大 小 是 一 个 重要 的 
变量 。 例 如 ， 用 户 拍摄 了 50 张 数码 相片 ， 每 张 相片 的 文件 大 小 是 3MB。 图 片 处 理 软件 可 
以 轻松 处 理 任 何 一 张 相片 ， 但 是 同时 处 理 50 张 相片 时 却 遭 遇 内 存 不 足 的 错误 。 以 此 类 推 ， 
一 张 230MB 的 图 片 很 可 能 导致 相似 的 错误 。 

O 相对 位 置 。 例 如 ， 在 队列 头 部 、 尾 部 、 中 部 插入 一 个 新 的 元 素 ， 往 往 会 执行 不 同 的 代码 ， 

而 错误 可 能 隐藏 在 某 段 特 定 的 代码 中 。 测试 人 员 要 去 发 现 此 类 由 相对 位 置 引发 的 特定 操作 。 

口 容量 。 测 试 人 员 需 要 考虑 “容器 ”的 容量 ， 典 型 的 测试 值 是 0 个 元 素 、1 个 元 素 、n 个 元 素 
(n 是 容器 可 容纳 的 最 大 元 素 个 数 )， 例 如 空 的 队列 、 只 有 1 个 元 素 的 队列 、 容 量 耗 尽 的 队 
列 、 空 的 图 文 框 、 包 含 1 个 谱 套 图 文 框 的 图 文 框 、 包 括 9 级 座 套 的 图 文 框 、 不 弹出 确认 对 
话 框 、 弹 出 1 个 确认 对 话 框 、 弹 出 9 个 确认 对 话 框 。 这 些 变 化 的 数值 暗示 了 软件 的 不 同 处 

理 方式 ， 值 得 测试 人 员 进 一 步 探索 。 

O 本 地 化 和 国际 化 。 许 多 操作 系统 允许 用 户 更 改 系 统 的 地 区 ， 这 通常 意味 着 字符 集 、 时 间 
格式 、 货 币 格式 等 基本 数据 格式 的 改变 。 许 多 软件 允许 用 户 更 改 界面 语言 ， 这 通常 意 
着 界面 字符 串 的 长 度 、 方 向 、 格 式 的 改变 ， 有 些 软件 还 会 加 载 新 语言 的 字典 文件 。 测 试 
人 员 需 要 检查 软件 能 够 处 理 这 些 基 本 数据 的 变化 。 

口 时 间 。 测 试 人 员 需 要 考察 特殊 的 时 间 点 、 特 殊 的 时 间 长 度 、 周 期 性 的 事件 、 涉 及 多 个 时 
区 的 业务 、 输 入 的 速度 、 计 算 的 耗 时 等 。 

构建 IO 模型 有 助 于 测试 人 员 更 好 地 理解 被 测 对 象 , 更 自如 地 操控 , 更 全 面 地 观察 , 更 好 地 设 

试 。 通常 ， 发现 重 要 的 变量 ,相应 的 测试 想法 就 会 自然 浮现 。 反 之 ,未 发 现 重要 的 变量 , 测 

计 就 会 存在 漏洞 ， 有 可 能 错过 重要 的 缺陷 。 


3 系统 生态 图 


在 测试 一 个 较 复杂 的 软件 系统 时 ,测试 人 员 需 要 分 析 系 统 的 内 部 结构 、 外 部 依赖 和 访问 接口 。 
专家 Elisabeth Hendrickson 建 议 测试 人 员 绘 制 一 幅 图 来 描述 系统 的 生态 环境 , 它 综合 了 传统 的 
图 和 部 署 图 ， 可 以 帮助 测试 人 员 系 统 性 地 探索 整个 系统 [Hendrickson13]。 我 将 这 样 的 图 称 为 
生态 图 。 


O 语 境 图 描述 系统 如 何 与 外 部 环境 联系 ， 展 示 了 系统 的 用 户 、 接 口 和 外 部 依赖 ( 如 数据 源 、 
协作 进程 、 支 撑 服 务 等 )。 
O 部 署 图 描述 组 成 系统 的 子 系统 或 模块 ， 包 括 数 据 库 、 服 务 进程 、 可 执行 程序 等 。 


图 4-10 是 一 张 我 手绘 的 系统 生态 图 ， 描 述 了 一 个 我 测试 过 的 报表 系统 。 


O 从 语 境 图 的 角度 ， 图 4-10 的 虚线 框 描述 了 报表 系统 的 边界 。 系 统 分 成 两 部 分 ， 左 侧 部 分 
是 一 个 Silverlight 应 用 ， 实 际 用 户 通过 该 Silverlight 应 用 访问 报表 数据 ， 右 侧 部 分 是 系统 的 
后 台 ， 由 系统 管理 员 控 制 。 除 了 系统 边界 和 用 户 ， 图 的 右上 和 角 还 呈现 了 系统 所 依赖 的 外 
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部 数据 源 。 

口 从 部 署 图 的 角度 ， 图 4-10 描 述 了 系统 的 组 成 部 分 。 这 是 一 个 “客户 端 一 服务 需 ” 架 构 的 
系统 。 在 客户 端 ， 一 个 运行 在 正中 的 Silverlight 应 用 从 服务 端 获得 数据 ， 并 绘制 报表 。 在 
服务 端 , 一 个 同步 工具 将 外 部 数据 源 的 数据 转 储 在 报表 数据 库 中 。 一 个 Windows 服 务 将 读 
取 数 据 库 ， 并 提供 基于 WCF 技 术 的 数据 访问 服务 。 一 个 HS 网 站 调用 该 数据 访问 服务 ， 把 
获得 的 报表 数据 传递 给 客户 端的 Silverlight 应 用 。 
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图 4-10 一 个 报表 系统 的 系统 生态 图 


制作 系统 生态 图 的 时 机 一 般 是 在 系统 设计 完成 的 时 候 。 测 试 人 员 可 以 将 该 图 作为 评审 设 
计 规 格 说 明 的 “ 课 后 作业 ”, 通过 绘制 测试 视角 的 模型 来 理解 系统 设计 。 他 可 以 从 实际 用 户 接 
触 的 组 件 开 始 ， 逐 渐 画 出 整个 系统 ， 也 可 以 从 最 重要 的 模块 开始 ， 逐 渐 衍 生出 其 他 模块 。 最 
初 的 系统 生态 图 无 需 追 求 细致 ， 只 要 涵盖 整个 系统 即 可 。 测 试 人 员 可 以 随 着 项 目 进展 对 它 进 
行 修订 。 


关于 绘制 方式 ， 我 倾向 于 用 纸 笔 绘 制 系统 生态 图 ， 因 为 手绘 有 儿 个 优势 。 第 一 ， 手工 绘 
制 的 速度 超过 使 用 作 图 软件 , 我 只 需 几 分 钟 的 时 间 就 可 以 画 出 图 4-10。 第 二 , 手工 绘制 灵活 性 
高 ， 可 以 方便 地 画 出 多 种 图 元 ， 随 意 地 添加 标记 和 注释 。 第 三 ， 手 绘 让 我 专注 于 图 的 内 容 ， 
而 不 是 作 图 软件 的 功能 ， 有 助 于 更 好 地 思考 。 第 四 ， 我 可 以 将 图 纸 展 示 给 同事 ， 以 分 享 建 模 
成 果 。 在 讨论 过 程 中 ,我 们 可 以 快速 地 将 新 的 想法 补充 到 图 上 。 纸 和 笔 提 供 了 一 个 自然 的 协 
作 平 台 。 


手工 绘制 的 主要 缺点 在 于 不 易 存档 。 为 此 ， 我 准备 了 一 个 文件 夹 ， 专 门 存 放手 工 绘制 的 
各 种 图 纸 。 如 果 需 要 长 期 保存 ， 我 会 用 智能 手机 拍摄 图 纸 的 照片 ， 将 照片 保存 在 电子 的 测试 
笔记 中 。 以 我 的 经 验 ， 大 部 分 图 纸 服 务 于 短期 任务 ， 无需 电 子 存档 ， 只 有 少量 的 重要 图 纸 需 
要 电子 化 。 


手工 绘制 的 另 一 个 缺点 是 不 易于 修改 。 对 于 细节 的 修改 尚 可 以 在 原 图 上 涂改 , 但 是 大 规模 的 
修订 就 只 能 重 绘 。 对 此 ， 我 有 两 个 应 对 方法 。 第 一 ， 对 于 重大 修改 ， 我 会 重新 绘制 模型 。 绘 制 一 
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幅 图 只 要 几 分 钟 的 时 间 ， 开 销 很 低 。 更 重要 的 是 , 重 绘 不 是 描 药 原 图 ， 而 是 重新 思考 产品 、 建 构 
更 好 模型 的 过 程 。 舍弃 原 有 模型 表达 , 花 一 些 时 间 去 构思 新 的 形式 , 往往 会 显著 提升 模型 的 质量 。 
第 二 ,对 于 复杂 、 经 常 改动 、 或 需要 正式 评审 的 图 形 ， 我 会 完 手工 作 图 ， 当 模型 比较 稳定 后 ,再 
使 用 软件 工具 绘图 。 


在 获得 系统 生态 图 之 后 , 测试 人 员 可 以 用 它 指导 测试 设计 。 一 种 测试 设计 思路 是 关注 系统 的 
边界 ， 检 查 系统 的 使 用 者 和 外 部 依赖 对 系统 的 影响 。 对 于 图 4-10， 测 试 人 员 可 以 考虑 如 下 方面 。 


口 针对 同步 工具 从 外 部 数据 源 导 入 数据 。 常 见 的 测试 想法 包括 : 如 果 数 据 源 暂时 不 可 访问 ， 
会 如 何 ” 如 果 数 据 源 提供 空 的 数据 集 ， 会 如 何 ?” 如果 数据 源 提供 海量 的 数据 ， 会 如 何 ? 
如 果 数 据 源 提供 不 符合 预期 格式 的 数据 ， 会 如 何 ” 如 果 数 据 源 提供 语义 错误 的 数据 ， 会 
如 何 ? 

口 针对 实际 用 户 访问 的 Silverlight 应 用 。 常 见 的 测试 想法 包括 : Silverlight 应 用 对 用 户 的 计算 
机 有 什么 要 求 ? Silverlight 应 用 的 错误 会 不 会 危害 用 户 的 计算 机 ?用 户 能 否 绕 开 权限 控 
制 ， 看 到 他 不 应 该 看 到 的 报表 ? 

口 针对 客户 端 (Silverlight 应 用 ) 和 服务 端 〈 网 站 、Windows 服 务 、 数 据 库 ) 的 数据 传输 。 
常见 的 测试 想法 包括 :如果 客户 端 提交 错误 的 数据 ， 服 务 端 如 何 处 理 ? 如 果 服 务 端 提供 
错误 的 报表 ， 客 户 端 如 何 处 理 ? 如 果 多 个 用 户 同 时 访问 ， 大 量 的 并 发 客户 端 会 不 会 导致 
性 能 问题 ?如果 服务 端 暂时 不 可 访问 或 反应 迟缓 ， 客 户 端 如 何 癌 用 户 报告 ? 


以 上 所 列 只 是 可 行 测试 想法 的 一 小 部 分 。 测试 人 员 可 以 深入 分 析 系 统 特点 , 产生 更 多 的 测试 
想法 。 其 中 , 一 个 有 帮助 的 思考 方法 是 条 件 分 析 ， 即 不 停 地 询问 “如 果 发 生 ……, 会 如 何 ? ” 通 
过 构思 可 能 发 生 的 各 种 情况 ,测试 人 员 能 够 检查 系统 对 于 复杂 情景 的 应 对 能 力 。 


对 于 系统 生态 图 ， 男 一 种 测试 思路 是 根据 组 件 所 使 用 的 技术 ,构思 相应 的 测试 想法 。 例 如 ， 
测试 人 员 根 据 图 4-10 所 列举 的 技术 ， 可 获得 如 下 测试 想法 。 


O Silverlight 应 用 通过 异步 通信 和 与 服务 端 通信 。 如 果 用 户 连 续 点 击 控件 ， 客 户 端 会 向 服务 端 
发 送 多 个 间隔 很 短 的 请 求 ， 服 务 端 如 何 处理 这 些 接近 “并 发 ”的 请 求 ”如 果 服 务 端 密集 
返回 多 个 响应 ， 客 户 端 如 何 处 理 这 些 接近 “并 发 ”的 响应 ?” 如果 服务 端 返 回 的 响应 不 符 
合 请 求 的 顺序 ， 客 户 端 如 何 处 理 ? 

口 服务 端的 网 站 和 Web 服 务 使 用 WCF 技 术 。WCF 的 默认 配置 对 所 传输 数据 的 长 度 有 较 严 格 
的 限制 。 那 么 ， 被 测 系 统 使 用 了 何 种 WCF 配 置 ? 该 配置 对 数据 传输 的 限制 是 多 少 ? 能 否 
构造 一 个 大 型 报表 ， 使 其 数据 长 度 超过 当前 限制 ? 

口 同步 工具 和 Windows 服 务 可 能 同时 访问 数据 库 。 当 同步 工具 写 人 数据 时 , Windows 服 务 会 
不 会 读 到 “ 脏 数 据 ”， 以 至 于 生成 错误 的 报表 ?如 果 同 步 工 具 写 入 数据 时 会 锁 住 表格 ， 
Windows 服 务 会 不 会 被 阻塞 ， 以 至 于 实际 用 户 体验 到 性 能 问题 ? 如 果 Windows 服 务 读 取 数 
据 时 会 锁 住 表格 ， 同 步 工 具 会 不 会 被 阻塞 ， 以 至 于 遇 到 数据 库 超 时 的 错误 ? 
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以 上 所 列 仍旧 是 可 行 测试 想法 的 一 小 部 分 。 测 试 人 员 需 要 了 解 实现 技术 的 特征 和 常见 问题 ， 
才能 全 面 思 考 ， 构 思 出 有 和 针对 性 的 测试 。 


此 外 ， 测试 专家 Michael Bolton 和 James Bach 针 对 部 署 图 ， 提 出 了 一 批 测试 指导 词 ， 对 于 测试 
设计 有 很 高 的 参考 价值 [Bolton09a]。 其 基本 元 素 是 节点 、 组 件 和 路 径 。 


节点 是 系统 的 组 件 ， 是 测试 设计 的 基本 对 象 。 


O 缺失 和 退出 : 如 果 组 件 退 出 ， 系 统 会 如 何 ? 

口 额外 和 干扰 : 如 果 出 现 额外 的 组 件 或 组 件 发 出 干扰 ， 系 统 会 如 何 ? 

O 错误 : 组 件 会 发 生 哪 些 错误 ?如 果 组 件 出 错 ， 系 统 会 如 何 ? 

O 时 间 和 顺序 : 考虑 上 时间、 时序、 时长、 时限、 速度、 频率 等 时 间 因 素 对 组 件 的 影响 。 
口 内 容 与 算法 : 考虑 组 件 容纳 的 数据 和 使 用 的 算法 。 

口 条 件 行为 : 在 不 同 的 条 件 下 ， 考 察 组 件 的 行为 。 

口 局 限 : 组 件 有 什么 业务 和 技术 局 限 ? 这 些 局 限 对 系统 有 何 影响 ? 

O 错误 处 理 : 组 件 如 何 发 现 并 处 理 自身 的 错误 ?如 何 发 现 并 处 理 来 自 其 他 组 件 的 错误 ? 


线条 连接 了 组 件 。 测 试 人 员 需 要 针对 组 件 之 间 的 通信 设计 测试 。 


O 缺失 和 退出 ;如 果 组 件 间 的 通信 中 断 ， 系 统 会 如 何 ? 

口 额外 和 分 支 : 能 否 建立 额外 的 通信 渠道 ? 

O 错误 : 组 件 间 的 通信 会 发 生 哪些 错误 ?如 果 通 信 出 错 ， 系 统 会 如 何 ? 

O 时 间 和 顺序 : 考虑 时 间 、 时 序 、 时 长 、 时 限 、 速 度 、 频 率 等 时 间 因 素 对 通信 的 影响 。 
口 状态 通信 : 组 件 之 间 如 何 传播 或 同步 彼此 的 状态 ? 

O 数据 结构 : 通信 使 用 何 种 数据 结构 、 数 据 格 式 、 数 据 类 型 ? 


路 径 是 线条 构成 的 通路 ,测试 人 员 需 要 针对 图 中 的 路 径 ( 通常 对 应 为 数据 传播 路 径 或 工作 流 ) 
设计 测试 。 
O 最 简 的 : 设计 连接 组 件 的 最 简单 路 径 。 
口 常用 的 : 考虑 用 户 使 用 系统 的 常见 路 径 。 
O 关键 的 ; 考虑 完成 业务 的 关键 路 径 ， 例 如 完成 某 项 业务 有 几 条 可 行路 径 ， 关 键 路 径 不 包 
含 或 只 包含 最 少 的 非 必 经 节点 。 
口 复杂 的 : 考虑 复杂 的 数据 流 和 工作 流 对 系统 的 影响 。 
O 病态 的 :考虑 可 能 的 病态 路 径 ， 例 如 恶意 数据 在 系统 内 传播 的 感染 路 径 ， 又 例如 由 于 错 
误 操作 导致 的 异常 工作 流 。 
O 挑战 的 : 考虑 对 系统 而 言 有 挑战 性 的 路 径 ， 例 如 伴随 超 高 负荷 运算 的 工作 流 。 
O 错误 处 理 : 系统 能 否 发 现 并 处 理 数据 流 和 工作 流 中 的 错误 ? 
口 周期 的 : 考虑 周期 的 、 定 期 的 、 间 歇 的 事件 对 路 径 的 影响 。 
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在 测试 指导 词 的 基础 上 ，Michael Bolton 利 用 部 署 图 和 测 程 来 组 织 测试 [Bolton12]。 例 如 ,项 
目 时 间 允 许 执行 40 个 测 程 。 为 了 更 好 地 安排 测 程 ， 他 在 白板 上 画 了 如 图 4-11 所 示 的 部 署 图 ， 并 拟 
定 了 6 个 主要 的 测试 策略 : 观察 并 建立 测试 先知 、 控 制 /变化 /改变 、 强 制 失 败 、 利 用 工具 探索 、 探 
索 数 据 或 对 象 、 探 索 活 动 。 这 些 测试 策略 将 覆盖 产品 的 不 同方 面 。 


Web 服 务 器 


浏览 器 
数据 库 
应 用 服务 器 
pe 观察 并 建立 测试 先知 /1 利用 工具 探索 
ENG a AC Gd B 探索 数据 或 对 象 
3 
ZEN = 
A 强制 失败 my RES 


图 4-11 ”部 署 图 和 测试 策略 


然后 , 他 组 织 测试 小 组 一 起 评审 部 署 图 。 他 们 用 即时 贴 代表 测 程 ， 在 一 张 即 时 贴 上 写 下 简单 
的 主题 词 ， 然 后 贴 到 一 个 节点 或 线条 上 。 因 为 即时 贴 是 有 限 的 ,测试 小 组 在 张贴 过 程 中 ， 要 平衡 
不 同 测试 策略 的 数量 ， 要 平衡 在 不 同 节 点 和 线条 上 的 测 程 。 当 贴 完 40 张 即时 贴 时 ,测试 安排 就 自 
然 结束 。 如 图 4-12 所 示 ， 测 试 小 组 获得 了 一 个 覆盖 整个 系统 的 测试 方案 。 


在 分 配 测 程 时 ,测试 小 组 要 考察 部 署 图 的 完整 性 。 任 何 模型 都 是 对 产品 的 简化 , 所 以 它 会 省 
略 一 些 内 容 。 如 果 部 署 图 遗漏 了 某 个 节点 或 线条 , 那么 测试 安排 就 会 产生 漏洞 。 为 此 , 测试 人 员 
要 不 停 地 自问 : KERR TA? 现 有 测 程 和 测试 策略 是 否 覆 盖 了 整个 系统 ? 


由 本 节 的 讨论 不 难看 出 ,系统 生态 图 综合 了 黑 盒 分 析 和 白 盒 分 析 。 在 黑 盒 层面 , 它 列举 了 软 
件 系 统 的 用 户 和 外 部 依赖 ,让 测试 人 员 思 考 系统 的 边界 和 接口 。 在 白 盒 层 面 , 它 呈 现 了 系统 的 主 
要 组 件 和 组 件 之 间 的 联系 , 让 测试 人 员 可 以 分 析 整 个 系统 的 运作 。 因 此 , 创建 系统 生态 图 有 助 于 
测试 人 员 从 整体 上 把 握 产 品 ， 并 设计 多 样 化 的 测试 想法 。 
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性 能 历史 Bs 构建 历史 先知 


构建 压力 工具 Ne 

are 历史 先知 

人 
数据 生成 器 


; o i 
| 构建 错误 监控 器 Ñ MY _ 数据 生成 先知 


P : 
强制 失败” /| 


强制 失败 
构建 错误 监控 器 
N? ii 
评审 错误 输出 O 表 一 致 性 先知 。 
| 覆盖 率 分 析 i [jel] P 


| ) Bis T 


图 4-12 用 部 署 图 安排 测 程 


424 实体 关系 模型 


实体 关系 模型 ( Entity-Relationship model，ER 模 型 ) 是 一 种 数据 库 建 模 方法 ， 由 计算 机 科学 
家 陈 品 山 (Peter Pin-Shan Chen ) 于 1976 年 提出 [WikipediaERM12]。ER 模 型 被 广泛 地 用 于 关系 型 
数据 库 的 分 析 与 设计 ， 并 被 推广 到 普通 软件 的 数据 分 析 。 


图 4-13 是 一 个 简化 的 在 线 交 易 系 统 的 ER 模型 。 其 中 , 长 方形 节点 是 实体 , 代表 系统 中 的 一 类 
数据 ， 萎 形 节点 是 关系 ， 反 映 了 实体 之 间 的 关联 。 


厂商 KK 


提供 商品 购买 订单 拥有 


图 4-13 ”在 线 交 易 系 统 的 ER 模型 
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口 通常 ， 实 体 是 系统 中 的 “名 词 ” 代表 了 业务 领域 的 一 类 对 象 ， 这 些 对 象 拥 有 独立 的 含义 
和 可 被 识别 的 标识 。 例 如 ， 在 线 交 易 系 统 中 , 厂商、 商品 、 订 单 、 买 家 等 实体 拥有 明确 
的 含义 、 属 性 和 标识 ， 是 构成 交易 的 基本 元 素 。 实 体 的 属性 是 实体 的 数据 ， 例 如 “厂商 ” 
会 拥有 厂商 编号 、 厂 商 名 、 联 系 人 、 地 址 、 电 话 等 属性 。 

O 关系 往往 体现 为 “动词 ”， 联 系 了 两 个 或 多 个 实体 。 例 如 ,关系 “ 提 供 ” 就 反应 了 “厂商 ” 
对 “商品 ”的 供应 关系 。 在 关系 “提供 ”的 两 条 连 线 上 标注 了 实体 间 的 数据 联系 :“ 厂 商 
是 1, 商品 是 N”, 代表 一 位 厂商 可 以 提供 多 种 商品 , 即 厂商 与 商品 是 “一 对 多 ”关系 。 "三 
商 一 提供 一 商品 一 购买 一 订单 ” 连接 了 厂商 和 订单 。 因为 一 位 厂商 可 以 向 多 份 订单 供 货 ， 
一 份 订单 可 以 包含 来 自 多 位 厂商 的 商品 ， 所 以 厂商 与 订单 构成 了 “多 对 多 ”关系 。 关 系 
也 拥有 属性 ， 例 如 “购买 ”关系 的 属性 包含 商品 的 售 出 价格 、 税 值 等 。 


从 黑 盒 测试 的 角度 ， 测 试 人 员 可 以 使 用 ER 模型 来 建立 软件 的 数据 模型 。 他 分 析 业 务 文 档 ， 
识别 出 业务 对 象 , 将 它们 抽象 为 实体 。 他 还 可 以 分 配 一 个 测 程 , 其 主题 为 “利用 买 家 的 用 户 界面 ， 
探索 购物 流程 ， 以 获得 买 家 相关 的 ER 模型 ”， 即 通过 测试 来 创建 ER 模型 。 以 下 是 一 些 识别 实体 和 
属性 的 技巧 。 


O 在 Web 应 用 中 ， 一 张 表单 往往 对 应 了 一 个 实体 ， 表 单 的 字段 对 应 了 实体 的 属性 。 例 如 ， 
用 户 注 册 表 单 对 应 了 “有 用户” 实体， 需要 填写 的 注册 信息 对 应 了 用 户 属 性 。 又 例如 ， 订 
单 确认 页 面 暗示 了 “订单 ”是 一 个 实体 ， 页 面 上 的 金额 、 下 单 时 间 、 支 付 方 式 等 信息 是 
订单 的 属性 。 此 外 ， 订 单 页 面包 含 指 向 商品 的 链接 ， 暗 示 了 “订单 ”与 “商品 ”之 间 存 
在 “购买 ”关系 。 

口 设置 对 话 框 常常 呈现 了 一 个 实体 拥有 的 属性 。 例 如 ， 图 4-3 展 示 了 PowerPoint 对 图 片 阴影 
的 设置 对 话 框 ， 它 表明 图 片 是 一 个 实体 ， 并 暗示 阴影 也 是 一 个 实体 ， 而 颜色 、 透 明度 、 
大 小 等 具体 设置 是 阴影 的 属性 。 

口 有 些 软 件 或 服务 用 对 象 模型 、Web 服 务 等 方式 提供 了 编程 接口 。 其 中 ， 一 个 类 型 常常 对 
应 一 个 实体 ， 类 型 的 字段 或 特性 对 应 了 实体 的 属性 ， 类 型 之 间 的 聚合 关系 往往 暗示 了 ER 
模型 的 关系 。 


在 测 程 中 ,测试 人 员 可 以 用 简化 的 ER 模型 图 来 记录 建 模 结果 。 例 如 ， 图 4-14 是 一 个 简化 的 
ER 模型 图 ， 它 用 连 线 来 表达 关系 ， 只 对 重要 的 关系 标注 了 内 容 。 


购买 


1 N N / 4 = N 1 本 
厂商 商品 订单 KR 


图 4-14 ”简化 的 在 线 交易 系统 的 ER 模型 
从 和 白 盒 测 试 的 角度 ， 测 试 人 员 可 以 分 析 产 品 数据 库 ( 如 图 4-15 所 示 ) 来 建立 ER 模型 。 通 常 ， 
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一 张 表 对 应 一 个 实体 ， 外 键 定 义 了 实体 之 间 的 关系 。Customer 表 对 应 “用 户 ” 实 体 ，Order 对 应 
“订单 ”实体 ， 由 Order 到 Customer 的 外 键 对 应 了 “拥有 ”关系 。Purchase 是 一 张 关 联 表 ， 它 体现 
了 Order 与 Product 的 “多 对 多 ”关系 ， 反 映 了 “购买 ”关系 。 


Provider Customer 

里 ProviderlD 时 CustomerID 
Name Name 

Product Purchase Order 

g ProductiD G OrderlD Q OrderlD 
Name G ProductiD CustomerID 
ProviderlD 


图 4-15 ”在线 交易 系统 的 数据 库 设计 


在 获得 ER 模型 之 后 ,测试 人 员 可 以 综合 使 用 CRUD (Create, Read, Update, Delete ) 
[Hendrickson13]、 出 租车 漫游 、 快 递 漫 游 、 沙 发 土豆 漫游 [Whittaker09] 等 手段 来 实施 测试 。 


CRUD 就 是 对 实体 、 关 系 和 属性 进行 创建 、 读 取 、 更 新 和 删除 操作 ， 是 所 有 数据 测试 的 基本 
步骤 。 围 绕 这 些 操 作 ， 测 试 人 员 可 以 构思 出 多 样 的 测试 想法 。 以 下 是 一 些 可 能 的 策略 。 


口 沙发 土豆 漫游 。" 沙 发 土豆 ”是 一 句 美国 倡 语 ， 比 喻 一 个 人 很 懒 , 整 天 陷 在 沙发 里 看 电视 。 
James Whittaker 以 此 为 隐喻 ， 提 出 了 沙发 土豆 漫游 。 运 用 该 漫游 测试 时 ， 测 试 人 员 总 是 不 
修改 软件 提供 的 默认 值 ， 只 是 不 停 地 点 击 “ 下 一 步 ” 让 软件 处 理 它 给 出 的 默认 值 。 有 时 ， 
软件 的 用 户 界 面 和 后 台 计 算是 不 同 的 程序 员 编 写 的 ， 他 们 可 能 使 用 不 同 的 逻辑 去 检查 数 
值 的 合法 性 ， 因 此 用 户 界面 上 给 出 的 默认 值 有 可 能 是 后 台 计 算 不 能 处 理 的 非法 值 。 此 外 ， 
沙发 土豆 漫游 还 可 以 发 现 一 些 软件 应 该 给 出 默认 值 ( 以 减少 用 户 的 输入 负担 )， 但 是 没有 


给 出 默认 值 的 情况 。 
口 测试 人 员 还 可 以 装 成 另 一 种 “沙发 土豆 ”一 一 拒 不 提供 数值 。 例 如 ， 网 页 表单 给 出 了 一 
批 字 段 的 默认 值 ， 测 试 人 员 删 除 其 中 一 些 默认 值 ， 然 后 提交 表单 。 面 对 这 种 情况 ,不同 


的 实现 有 不 同 的 做 法 : 有 些 网 页 会 检查 字段 的 数值 ， 并 报告 数值 缺失 的 错误 ; 有 些 后 台 
服务 器 会 检查 用 户 提交 的 数值 , 并 报告 错误 ; 有 些 后 台 服 务 器 会 使 用 它 认 为 的 默认 值 ( 也 
许 与 网 页 显示 的 默认 值 不 同 )。 根 据 网 页 的 实际 表现 ， 测 试 人 员 可 以 再 设计 新 的 测试 。 

口 对 于 实体 和 关系 的 属性 , 测试 人 员 需 要 测试 非法 值 和 极限 值 。 例 如 , 图 4-3 展 示 了 PowerPoint 

对 图 片 阴影 的 设置 。 测 试 人 员 需 要 针对 每 个 控件 〈 阴影 的 属性 ) 测试 非法 值 和 极限 值 。 

口 有 时 ， 实 体 的 属性 对 于 某 些 模块 是 合法 的 ， 对 于 另 一 些 模 块 却 会 导 臻 错误。 例如， 在 图 4-3 
所 示 的 对 话 框 中 , 测试 人 员 设 置 了 一 些 阴 影 属性 的 极限 值 ( 如 将 “模糊 ” 设 为 0 磅 )。 此 时 ， 
PowerPoint 能 正确 绘制 阴影 。 随 后 ,测试 人 员 将 幻灯 片 男 存 为 PDF 文 档 ， 却 发 现 所 生成 的 文 
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档 不 能 正确 显示 阴影 。 为 了 发 现 这 种 错误 ,测试 人 员 需 要 考虑 快递 漫游 。 快 递 漫游 的 隐喻 
是 快递 人 员 会 携带 着 货物 穿越 万 水 千 山 、 城 市 乡村 、 大 街 小 替 。 相 似 地 ， 漫 游 测试 要 求 测 
试 人 员 随 着 数据 游历 整个 系统 ， 跟 着 实体 进入 系统 的 不 同 部 分 ， 并 在 各 处 调用 CRUD。 

O 软件 可 能 提供 了 多 种 方式 来 修改 实体 、 关 系 和 属性 。 例 如 ， 用 户 可 以 用 如 图 4-3 所 示 的 
PowerPoint 对 话 框 来 修改 图 片 的 阴影 效果 ,还 可 以 编写 宏 ，, 用 代码 来 修改 图 片 阴影 。 为 了 
保证 测试 覆盖 ,测试 人 员 需 要 考虑 出 租车 漫游 。 出 租车 漫游 的 隐喻 是 出 租车 司机 对 城市 
交通 非常 了 解 ， 他 可 以 想 出 很 多 路 线 到 达 目 的 地 ， 而 漫游 测试 需要 覆盖 所 有 这 些 路 线 。 
对 于 复杂 的 软件 ， 测 试 人 员 需 要 多 方面 调查 功能 的 接口 ， 穷 尽 所 有 的 接口 来 调用 CRUD。 


除了 以 上 测试 策略 , 测试 人 员 还 要 是 考察 CRUD 对 ER 模型 的 影响 。 最 常用 的 启发 式 方法 是 通 
过 CRUD 去 制造 “ 零 个 、 一 个 、 多 个 ”实体 的 情况 [Hendrickson13]。 以 下 是 一 些 常见 的 启发 式 


问题 。 


口 能 否 创 建 一 个 没有 依赖 的 实体 ?在 如 图 4-13 所 示 的 在 线 交 易 系统 中 , 通过 注册 新 买 家 可 以 
创建 一 个 没有 订单 的 买 家 。 那 么 ， 可 以 创建 一 个 没有 买 家 的 订单 吗 ” 可 以 先 创建 一 个 买 
家 ， 让 他 下 一 笔 订 单 ， 再 删除 该 买 家 ， 从 而 获得 没有 用 户 的 订单 吗 ” 合理 的 数据 库 设 计 
可 以 禁止 没有 用 户 的 订单 ， 不 过 测试 人 员 不 能 假定 数据 库 设计 正确 。 此 外 ， 软 件 的 一 些 
模块 也 许 会 短暂 地 使 用 这 样 的 订单 ， 这 种 “非法 ” 且 “ 临 时 ”状态 的 订单 会 遗漏 到 其 他 
模块 并 导致 系统 出 错 吗 ? 测试 人 员 可 以 使 用 出 租车 漫游 和 快递 漫游 去 调查 
能 否 删除 一 个 有 依赖 的 实体 ? 在 图 4-13 的 ER 模型 中 ， 如 果 删 除 一 个 有 订单 的 买 家 会 发 生 
什么 ?系统 是 禁止 删除 有 订单 的 买 家 ， 还 是 会 级 联 删除 该 买 家 拥有 的 订单 ”如 果 订 单 已 
经 付款 且 没 有 交 货 ， 级 联 删除 订单 会 不 会 导致 无 法 交 货 ? 如 果 一 家 厂商 退出 市 场 ， 但 是 
它 的 一 批 货物 仍旧 保存 在 电子 商城 的 配送 中 心 ( 电子 商城 已 经 为 这 批 货 付款 )， 那 么 该 如 
何 处 理 ? 能 和 否 删 除 该 厂商” 如 果 删 除 广 商会 导致 相关 产品 被 级 联 删除 ， 那 么 电子 商城 还 
能 否 继续 销售 这 篇 存货 ” 这些 问 题 看 似 极 端 ， 但 是 现实 世界 的 电子 交易 比 图 4-13 的 ER 模 
型 要 复杂 得 多 ， 会 遇 到 更 多 的 难题 。 测 试 人 员 需 要 从 买 家 、 厂 商 、 电 子 商城 等 不 同 用 户 
的 角度 考虑 可 能 的 业务 流程 。 
O 能 否 改变 实体 之 间 的 关系 ? 例如 ,电子 商城 通过 快递 公司 发 货 给 买 家 A。 货 在 途中 时 , K 

家 A 向 电子 商城 报告 ， 这 笔 交易 是 有 人 盗用 其 账户 所 为 ,要求 撤 单 。 此 时 ， 电 子 商 城 能 和 否 

要 求 快递 公司 停止 向 买 家 A 送 货 ， 转 而 将 该 货品 送 给 另 一 位 购买 相同 商品 的 买 家 B? 如 果 

这 在 业务 上 是 可 行 的 ， 那 么 软件 系统 如 何 支 持 这 笔 修改 ? 如何 修改 商品 、 订 单 、 买 家 之 

间 的 联系 ? 

综 上 所 述 ，ER 模 型 用 简练 的 图 形 描述 了 软件 系统 的 数据 关系 ， 帮 助 测试 人 员 概 览 业务 模型 

《墨盒 视角 ) 或 实现 模型 ( 白 盒 视角 )。 利 用 该 模型 和 相关 测试 方法 ,测试 人 员 可 以 构造 出 有 力 的 
操作 和 流程 去 挑战 软件 系统 。 


o 


D 


- 104- 
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4.2.5 ”状态 机 模型 


状态 机 (state machine ) 是 一 种 常见 的 软件 建 模 方法 ,被 广泛 地 应 用 于 软件 分 析 、 设 计 、 开 
发 与 测试 ， 并且 是 基于 模型 的 测试 "的 重要 技术 之 一 [WikipediaMBT12]。 


3.2.7 节 介绍 了 一 篇 Windows 8 应 用 的 测试 指南 ， 该 文档 以 应 用 的 状态 为 核心 ， 介 绍 了 相关 知 
识 和 测试 要 点 。 图 4-16 是 从 操作 系统 的 角度 考察 应 用 状态 所 获得 的 状态 图 [Hilo12]， 其 图 元 的 含 
义 如 下 。 


口 节点 代表 Windows 8 应 用 的 状态 ， 包 括 从 未 运行 、 不 在 运行 、 被 用 户 关 闭 、 运 行 、 已 挂 起 

和 已 终止 。 

O 线条 代表 变迁 ， 其 起 点 是 变迁 的 源 状 态 ,终点 是 目标 状态 ,线条 上 的 文字 是 变迁 的 触发 
事件 。 例 如 ， 当 用 户 从 当前 应 用 切换 到 开始 屏幕 时 ， 操 作 系统 向 处 于 “运行 ”状态 的 应 

用 触发 “ 挂 起 ”事件 ， 并 在 5 秒 后 将 其 置 于 “已 挂 起 ”状态 。 


应 用 安装 、 用 户 登 录 
或 操作 系统 重 = 


激活 恢复 ) 


被 用 户 关闭 激活 


图 4-16 Windows 8 应 用 的 状态 图 


在 获得 状态 图 之 后 ， 测 试 人 员 可 以 从 以 下 角度 设计 测试 用 例 。 


(该 “基于 模型 的 测试 ”是 指 测试 人 员 建 立 软件 的 形式 化 模型 ,通常 是 有 限 状 态 自动 机 、 马 尔 可 夫 链 、 形 式 化 系统 
等 数学 模型 ， 然 后 利用 可 执行 路 径 搜 索 、 定 理 证 明 、 符 号 执行 、 模 型 检查 等 算法 ， 自 动 地 执行 测试 或 检查 软件 模 
型 。 这 是 一 类 基于 形式 化 模型 的 自动 化 测试 技术 , 是 “狭义 ”的 基于 模型 的 测试 。 除 本 句 之 外 , 本 章 讨论 的 是 “ 广 
义 ” 的 基于 模型 的 测试 ， 即 利用 软件 的 模型 ( 可 以 是 形式 化 模型 ， 也 可 以 是 非 形式 化 模型 )， 进 行 测试 设计 。 本 
章 的 讨论 偏向 人 工 设计 测试 想法 , 但 并 不 排除 使 用 自动 化 算法 来 实施 测试 。 我 建议 读者 在 与 其 他 人 讨论 “基于 模 
型 的 测试 ”时 ， 要 了 解 对 方 所 说 的 是 “狭义 ”概念 还 是 “广义 ”概念 ， 这 有 助 于 掌握 语 境 ， 避 免 误 解 。 
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口 设计 测试 用 例 以 覆盖 所 有 状态 。 对 于 图 4-16, 测试 人 员 应 该 操作 被 测 应 用 , 使 它 抵达 所 有 

状态 节点 : 从 未 运行 、 不 在 运行 、 被 用 户 关 闭 、 运 行 、 已 挂 起 、 已 终止 。 

口 设计 测试 用 例 以 覆盖 所 有 状态 变迁 。 对 于 图 4-16, 测试 人 员 应 该 操作 被 测 应 用 , 使 它 经 过 
所 有 变迁 线条 。 例 如 ， 当 应 用 处 于 “运行 ”状态 时 , 测试 人 员 切 换 到 Windows 桌 面 ， 然 后 
在 任务 管理 器 中 检查 它 正确 地 进入 到 “已 挂 起 ”状态 ， 这 覆盖 了 “ 挂 起 ”变迁 〈( “运行 ” 
状态 一 “已 挂 起 ”状态 )。 

口 设计 测试 用 例 以 覆盖 所 有 触发 事件 。 有 些 变迁 可 以 被 多 个 触发 事件 激发 ， 测 试 人 员 应 该 

测试 所 有 的 触发 事件 。 例 如 ， 为 了 覆盖 “ 挂 起 ”变迁 ( “运行 ”状态 一 “已 挂 起 ”状态 ) 

的 触发 事件 ， 测 试 人 员 可 以 测试 : 从 被 测 应 用 切换 到 Windows 旧 面 、 从 被 测 应 用 切换 到 

Windows 开 始 屏 幕 、 从 被 测 应 用 切换 到 其 他 Windows 8 应 用 、 合 上 笔记 本 电脑 ( 或 按 下 

Windows 平 板 上 的 开机 键 ) 令 计算 机 休眠 等 。 


在 许多 软件 中 , 对 象 的 状态 是 显而易见 的 。 例 如 ,经 常 在 线 购 物 的 用 户 都 了 解 订单 具备 尚未 
提交 、 已 提交 未 确认 、 已 确认 、 发 货 、 交 货 等 状态 。 需 求 文档 或 设计 文档 常常 描述 了 重要 对 象 的 
状态 ， 甚 至 绘制 了 状态 图 。 测试 人 员 可 以 直接 使 用 这 些 信 息 来 构建 状态 机 ， 以 减少 建 模 的 开销 。 
不 过 ,即便 项 目 经 理 或 程序 员 提供 了 状态 机 , 测试 人 员 仍 需要 通过 测试 去 发 现 隐藏 的 状态 和 相应 
的 变迁 。 这 是 因为 软件 是 高 度 复杂 的 , 任何 状态 机 都 只 是 一 种 简化 表达 , 它 可 能 遗漏 了 某 些 值得 
测试 的 状态 或 变迁 。 为 此 ， 测 试 人 员 需 要 在 测试 迭代 中 检验 并 完善 状态 机 。 


状态 机 建 模 的 第 一 步 是 识别 状态 。 如 果 将 软件 状态 看 作 内 部 变量 拥有 的 值 , 那么 软件 就 有 无 
穷 多 的 状态 。 注重 实效 的 测试 人 员 会 根据 测试 使 命 明确 建 模 目 标 , 从 而 将 无 穷 多 的 值 归纳 到 少数 
几 个 状态 。 例 如 ， 图 4-16 的 重点 是 分 析 Windows 8 应 用 与 操作 系统 的 交互 ， 所 以 该 模型 将 应 用 正 
常 运作 的 情形 都 归纳 为 “运行 ”状态 ， 并 以 它 为 中 心 分 析 应 用 的 其 他 状态 与 变迁 。 如 果 测 试 重点 
是 应 用 的 业务 逻辑 ， 那 么 测试 人 员 可 以 忽略 图 4-16 的 所 有 状态 和 变迁 ,直接 次 入 到 “运行 ”状态 
中 去 建 模 。 


在 测试 过 程 中 ， 测 试 人 员 可 以 参考 以 下 技巧 [Hendrickson13]， 来 识别 软件 状态 。 


口 如 果 软 件 展现 了 新 的 界面 ， 允 许 执行 更 多 的 命令 ， 那 么 它 进入 了 另 一 个 状态 。 如 图 4-17 
所 示 ， 在 PowerPoint 中 选中 一 个 图 片 ，Ribbon 界 面 会 显示 新 的 标签 ( 图片 工具 一 格式 )， 
允许 执行 图 片 相关 的 命令 。 这 暗示 软件 进入 了 “图 片 编辑 ”状态 。 


9- TS : 测试 建 模 一 21 世 纪 视 角 .pptx - PowerPoint 
开始 插入 设计 切换 动画 幻灯 片 放 映 me 视图 Storyboarding 格式 
aE” E ra pa eee py po EERE h os 层 - 
Ese- G | 全 着 | | -四 | | aa | OBRAR DEE 
2s] SAR U |G AAH fpa A- 
调整 图 片 样式 加 排列 


图 4-17 选中 图 片 后 ，Ribbon 显 示 新 标签 
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O 如 果 软 件 展现 了 新 的 界面 ， 可 执行 的 命令 变 少 ， 那 么 它 进 入 了 另 一 个 状态 。 在 如 图 4-17 
所 示 的 情况 下 ， 点 击 约 灯 片 中 的 文字 ,“ 图 片 工具 ”标签 会 消失 。 这 暗示 软件 离开 了 “图 
片 编辑 ”状态 ， 进 入 了 “文字 编辑 ”状态 。 男 一 个 例子 是 ， 在 订单 提交 之 前 ， 用 户 可 以 
修改 订单 中 的 商品 ,一 旦 订单 提交 ， 用 户 就 无 法 修改 订单 内 容 。 这 暗示 订单 从 “未 提交 ” 
状态 进入 “已 提交 ”状态 ,触发 事件 是 “提交 ”。 

口 如 果 相同 的 操作 导致 了 不 同 的 结果 ， 那 么 软件 进入 了 另 一 个 状态 。 例 如 ， 向 一 个 固定 容 
量 为 5 个 单元 的 空 队列 连 续 添 加 数据 。 前 5 次 添加 操作 都 会 成 功 ， 第 6 次 操作 会 导致 错误 。 
这 说 明 “ 容 量 耗 尽 ”是 一 个 独立 的 状态 。 同 理 ,“ 没 有 数据 ”也 是 一 个 独立 的 状态 ， 因 为 
向 空 队列 索取 数据 会 导致 错误 。 

口 分 析 需 求 文档 和 用 户 界 面 ， 寻 找 “ 当 …… 的 时 候 和 “在 …… 之 后 “在 …… 之 前 ”的 表 
述 ， 这 常常 暗示 软件 处 于 特定 的 状态 。 例 如 ,“ 在 订单 提交 后 ， 用 户 不 能 再 增加 或 删除 商 
品 ” 就 暗示 “已 提交 ”是 一 个 状态 。 又 例如 ，Windows 安 装 补丁 时 会 提示 “正在 更 新 您 的 
系统 ， 请 不 要 关机 ”。 这 暗示 “正在 安装 更 新 ”一 个 重要 的 状态 。 

口 如 果 软 件 显示 等 待 提示 符 或 进度 条 ， 那 么 软件 正在 进行 某 项 任务 ， 这 段 任务 时 间 可 以 看 
作 一 个 状态 。 例如, 启动 Windows 8 的 Bing 新 闻 应 用 , 该 应 用 会 显示 几 秒 钟 的 启动 界面 (如 
图 4-18 所 示 )。 这 暗示 在 图 4-16 的 “不 在 运行 ”和 “运行 ”之 间 隐 藏 了 一 个 状态 :“ 正 在 初 
始 化 "。 发 现 该 状态 后 ， 测 试 人 员 会 考虑 : 能 不 能 中 断 “ 正 在 初始 化 ”状态 ? 如 果 中 断 该 
状态 ， 会 不 会 导致 数据 丢失 ? 


图 4-18 Bing 新闻 的 启动 界面 


除了 识别 状态 , 测试 人 员 还 需要 发 掘 隐藏 的 变迁 , 有 时 新 发 现 的 变迁 会 揭示 出 新 的 状态 。 以 
下 是 一 些 识别 变迁 的 基本 观察 点 [Hendrickson13]。 


口 用 户 命令 会 触发 变迁 。 例 如 ,用 户 在 PowerPoint 中 点 击 图 片 ， 能 够 触发 变迁 ， 使 软件 进入 
“图 片 编辑 ”状态 。 
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口 软件 自身 会 触发 变迁 。 例 如 ，Bing 新 闻 应 用 在 局 动 时 会 进入 “正在 初始 化 ”状态 。 如 果 


不 被 打 断 ，Bing 新 闻 应 用 会 在 几 秒 内 结束 该 状态 ， 进 入 “运行 ”状态 。 


O 软件 的 外 部 环境 会 触发 变迁 。 在 图 4-16 中 ， 当 应 用 处 于 “已 挂 起 ”状态 时 ， 操 作 系 统 可 能 


触发 “终止 ”事件 ,使 应 用 进入 “已 终止 ”状态 。 另 一 个 例子 是 ， 用 户 使 用 智能 手机 的 
GPS 导航 软件 来 辅助 驾驶 。 当 他 笃 车 通过 隧道 时 ，GPS 信 和 号 可 能 中 断 ， 于 是 导航 软件 会 进 
入 一 个 特殊 的 状态 。 当 他 驶 出 隧道 时 ，GPS 信 和 号 恢复 ， 导 航 软 件 应 该 回 到 正 党 工作 状态 。 
测试 人 员 应 该 检查 这 样 连续 的 变迁 所 产生 的 影响 。 


口 时 间 会 触发 变迁 。 例 如 ， 某 软件 查询 数据 库 ， 查 询 操作 的 超时 是 30 秒 。 如 果 该 查询 的 执 


由 以 上 讨论 不 难看 出 , 构建 完整 的 自动 机 模型 并 非 轻 而 易 举 。 测试 人 员 需 要 探索 软件 来 发 现 


行 时 间 超 过 30 秒 ， 那 么 查询 所 调用 的 数据 库 API 会 抛 出 异常 ， 导 致 查询 中 断 。 从 状态 机 的 
角度 ， 这 是 超时 事件 导致 软件 状态 变迁 。 再 例如 ， 许 多 软件 会 使 用 定时 器 ， 周 期 性 〈 如 
每 周 、 每 天 、 每 小 时 ) 地 启动 计算 任务 。 开 始 计算 、 结 束 计算 和 计算 产生 的 后 果 都 可 能 
触发 变迁 。 


状态 和 变迁 , 并 利用 新 发 现 去 发 抉 更 多 的 状态 和 变迁 。 这样 的 探索 与 发 现 之 旅 本 身 就 是 很 好 的 测 
试 。 当 测试 人 员 从 各 个 角度 尝试 触发 变迁 , 软件 会 经 历 多 项 考验 , 一 些 隐藏 的 错误 就 会 暴露 出 来 。 
在 整个 建 模 过 程 中 ， 测 试 人 员 可 以 考虑 如 下 策略 来 加 速 探索 和 测试 。 


CO 使 用 出 租车 漫游 和 出 租车 禁区 漫游 [Whittaker09] 来 发 现 更 多 的 状态 和 变迁 。 出 租车 漫游 要 


" 108: 


求 测试 人 员 用 不 同 的 路 线 来 达到 同一 个 目标 。 利 用 该 隐喻 ,测试 人 员 需 要 发 现 到 达 (或 
离开 ) 某 个 状态 的 所 有 变迁 及 触发 事件 。 出 租车 禁区 漫游 要 求 测试 人 员 尝 试 多 种 路 线 以 
前 往 不 允许 的 区 域 。 利 用 该 隐喻 ， 测试 人 员 应 该 瞄准 一 个 很 难 达 到 的 状态 ， 通 过 各 种 手 
段 去 构造 一 条 或 多 条 状态 变迁 路 径 ， 以 到 达 该 状态 。 

因为 状态 图 是 一 种 联通 图 ， 状 态 和 变迁 构成 了 一 组 路 径 ， 所 以 测试 人 员 可 以 参考 Michael 
Bolton 针 对 路 径 提 出 的 测试 指导 词 (参见 4.2.3 节 )， 通 过 构造 最 简 的 、 常 用 的 、 关 键 的 、 
复杂 的 、 病 态 的 、 挑 战 的 路 径 来 测试 系统 。 在 遍历 路 径 时 ， 要 考察 错误 处 理 、 故 障 恢 复 、 
周期 性 事件 、 间 际 性 事件 等 因素 对 状态 机 的 影响 。 对 于 复杂 的 状态 图 ， 可 能 的 路 径 是 海 
量 的 。 在 设计 路 径 时 ， 要 基于 领域 知识 和 产品 风险 ,来 选择 有 潜力 发 现 错误 的 路 径 。 
程序 员 在 编写 代码 时 ， 常 常会 忽略 一 些 可 能 发 生 的 事件 ， 从 而 导致 软件 不 能 应 对 复杂 的 
应 用 情景 。 为 此 ,测试 人 员 需 要 针对 每 一 个 状态 ， 考 虑 打 断 该 状态 会 不 会 导致 故障 
[Hendrickson13]。 例如 ， 当 用 户 离开 一 个 Windows 8 应 用 时 ,操作 系统 会 给 该 应 用 5 秒 的 时 
间 去 执行 清理 工作 (通常 是 保存 用 户 数据 和 程序 状态 )。5 秒 之 后 ， 无 论 清 理工 作 是 否 结 
束 ， 操 作 系 统 都 会 挂 起 该 应 用 。 如 果 此 时 清理 工作 还 没有 完成 ， 用 户 数 据 可 能 会 丢失 。 
为 此 ,测试 人 员 需 要 对 每 个 业务 状态 触发 “ 挂 起 ”事件 ， 来 测试 应 用 能 否 在 5 秒 内 完成 清 
理工 作 。 再 例如 ， 一 款 智 能 手机 软件 提供 了 录音 功能 。 当 用 户 正在 用 它 录 音 时 ， 一 通电 
话 拨 入 ,智能 手机 自动 切换 到 通话 界面 。 此 时 录音 状态 被 中 断 ， 电 话 之 前 的 录音 可 以 被 
正确 保存 吗 ? 电话 结束 后 ， 软 件 能 否 自 动 恢复 到 录音 状态 ， 继 续 录 音 ? 
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口 当 测试 人 员 获 得 一 个 相对 完整 的 状态 图 后 , 他 可 以 将 其 转化 为 状态 表 [Hendrickson13]。 
例如 ， 表 4-6 是 图 4-16 对 应 的 状态 表 ， 第 一 列 是 源 状 态 ， 第 一 行 是 触发 事件 ， 表 的 内 容 
是 源 状 态 在 触发 事件 作用 下 变迁 到 的 目标 状态 。 表 中 有 一 些 空白 单元 格 ， 说 明 状态 图 
没有 阐述 相应 的 源 状态 和 触发 事件 的 行为 。 测 试 人 员 应 该 检查 这 些 模型 表述 上 的 空 日 
的 实际 影响 。 在 源 状态 下 触发 事件 会 发 生 吗 ?” 这 对 源 状 态 和 触发 事件 会 导致 软件 故 


障 吗 ? 
4-6 ”用 状态 表 来 表示 状态 机 

: 触发 事件 | o oe | 挂 起 | 继 续 | 终 tls mlm oe] a 时 
状 5 

从 未 运行 运行 

不 在 运行 运行 被 用 户 关闭 
被 用 户 关闭 运行 

运行 运行 已 挂 起 不 在 运行 | 尚未 运行 

已 挂 起 运行 已 终止 

已 终止 运行 运行 

简 而 言 之 , 构建 和 运用 状态 机 模型 可 以 帮助 测试 人 员 更 好 地 理解 软件 的 运行 机 制 , 更 好 地 把 


握 软 件 与 外 界 的 交互 。 这 不 但 有 助 于 探究 软件 的 细节 , 还 可 以 更 全 面 地 测试 软件 在 不 同情 景 下 的 
行为 。 


42.6 ”多 种 多 样 的 模型 
在 软件 测试 中 , 可 选 的 测试 模型 是 多 种 多 样 的 。 本 书 第 3 章 就 介绍 了 几 种 有 价值 的 测试 模型 。 


Q Google ACC (3.2.27 ) 针对 产品 的 属性 、 部 件 和 能 力 建 立 测试 模型 ， 计 测试 设计 聚焦 于 
对 用 户 最 有 价值 的 情景 。 此 外 ， 利 用 能 力矩 阵 的 热点 图 ,测试 人 员 可 以 快速 识别 产品 的 
高 风险 区 域 ， 以 针对 风险 投入 测试 资源 。 

功能 列表 〈3.2.4 节 ) 是 一 种 稼 见 的 功能 测试 模型 。 它 用 层次 结构 列举 了 产品 的 功能 ， 既 

抽象 出 主要 功能 区 域 ， 又 提供 了 必要 的 细节 。 利 用 功能 列表 ， 测 试 人 员 可 以 逐步 发 展 测 

试 设计 ， 并 周密 地 覆盖 产品 的 功能 。 

O Fit 表 格 (3.2.60) 用 具体 的 测试 用 例 诠释 了 业务 规则 。 它 让 业务 分 析 师 的 业务 知识 以 自 

动 化 测试 的 形式 传递 给 测试 人 员 和 程序 员 ， 从 而 使 开发 流程 更 加 顺畅 。 

口 质量 列表 (3.2.97) 提示 测试 人 员 从 多 个 方面 考虑 产品 的 质量 ,分 析出 值得 重点 测试 的 
质量 特性 。 


口 


软件 产品 是 高 度 复 杂 的 ， 任 何 模型 只 能 描述 它 的 一 个 局 部 。 因 此 ， 测 试 人 员 需 要 多 种 模型 ， 
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从 不 同 角度 考察 软件 。 测 试 专家 Rikard Edgren 认 为 可 视 化 地 表达 头脑 中 的 模型 能 够 帮助 测试 设 
计 ， 切 换 多 个 模型 能 够 产生 差异 化 的 测试 想法 [Edgren12]。 


如 图 4-19 所 示 ，Edgren 


的 测试 对 象 是 他 开发 的 示例 软件 “完美 年 龄 计算 带 ”， 当 用 户 输入 生 


日 字符 串 , 它 会 输出 生日 所 对 应 的 年 龄 ,Edgren 指 出 该 用 户 界面 是 测试 人 员 可 利用 的 第 一 个 模型 。 
针对 该 模型 ， 测 试 人 员 可 以 快速 产生 一 批 测试 想法 。 


图 


口 测试 “运行 ”按钮 ; 


口 测试 “URL ”按钮 ; 


Enter Your Date of Birth (MM.DD.YYYY) 


Perfect Age Calculator 


URL 
4-19 ”模型 一 : “完美 年 龄 计算 器 ”的 用 户 界面 


O 测试 窗 体 : 窗 体 可 以 被 正确 地 缩放 、 最 小 化 、 最 大 化 、 关 闭 吗 ? 
口 测试 输入 框 : 输入 框 可 以 接纳 多 少 字 符 ?” 输入 框 如 何 处 理 错误 的 输入 ? 


点 击 该 按钮 ， 软 件 可 以 给 出 正确 的 计算 结果 吗 ? 如 果 输 入 框 为 空 ， 


点 击 该 按钮 会 发 生 什 么 ? 


点 击 该 按钮 ， 软 件 可 以 打开 正确 的 URL 地 址 吗 ? 


随后 ，Edgren 给 出 了 第 二 个 测试 模型 。 如 图 4-20 所 示 ， 该 模型 对 时 间 建 模 ， 将 时 间 线 划分 成 


很 久 以 前 、 现 代 时 间 、 现 在 和 未 来 。 利 用 该 模型 ， 测 试 人 员 可 以 构造 四 类 日 期 输入 ， 以 测试 软件 


YD ED a 


对 年 龄 的 计算 。 


图 4-20 ”模型 二 ， 时 间 线 


Edgren 的 第 三 个 模型 是 对 时 间 线 模型 的 细 化 ， 其 结果 如 图 4-21 所 示 。 这 是 一 个 很 有 价值 的 模 
型 ， 可 以 复 用 于 其 他 时 间 相 关 的 测试 。 


口 该 模型 提示 测试 人 员 考 虑 计算 机 可 以 表达 的 “时 间 的 开始 点 ”和 “时 间 的 结束 点 ”。 对 
于 .NET 程 序 ，.NET 内 建 类 型 System.DateTime 的 时 间 范 围 是 [“1/1/0001 12:00:00 AM”, 
“12/31/9999 11:59:59 PM”]。 测试 人 员 可 以 测试 这 两 个 边界 值 ， 并 测试 早 于 “开始 时 间 ” 
的 时 间 点 和 晚 于 “结束 时 间 ” 的 时 间 点 。 如 果 程 序 员 设计 了 新 的 时 间 类 型 ， 测 试 人 员 可 
以 针对 该 类 型 的 边界 进行 测试 。 
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O 该 模型 提示 “半年 ” 
O 该 模型 提示 今年 、 本 月 、 今 日 是 特殊 时 间 点 ， 值 得 测试 人 员 考 虑 。 


和 “ 国 日 ”是 特殊 时 间 点 ， 值 得 测试 人 员 考 虑 。 


4.2 ”常用 测试 建 模 方法 


时 间 的 开始 点 


具体 的 时 间 线 


计算 机 上 常见 的 结束 时 间 
图 4-21 模型 三 : 详细 的 时 间 线 


第 四 个 模型 针对 日 期 字符 串 ， 将 其 划分 为 年 、 月 、 日 三 部 分 , 分 别 设计 测试 想法 。 详 细 模 型 


请 参考 图 4-22。 
公元 前 的 年 份 
ee 
Fe 
20xx(21 世 纪 ) 
当前 值 (本 月 ) 
时间 的 字符 串 表示 — j e 
无 效 数值 
无 效 字符 串 
当前 值 (今日 ) 
1~28/29/30/31 
无 效 数 值 


图 4-22 ”模型 四 : “年 、 月 、 日 ”的 字符 串 表 示 


口 “ 年 ”的 字符 串 表 达 : 公元 前 的 年 份 、 两 位 数字 、19 x x 、20 x x 、 五 位 数字 。 
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口 “ 月 ”的 字符 串 表 达 : 本 月 、1~12、 无 效 数字 、 无 效 字符 串 。 
口 “日 ”的 字符 串 表 达 : 今日 、1~28/29/30/31、 无 效 数字 、 无 效 字 符 串 。 


随后 ，Edgren 从 实现 的 角度 分 析 了 软件 ， 给 出 了 如 图 4-23 所 示 的 技术 流 模型 。 利 用 该 模型 ， 


测试 人 员 可 以 从 实现 的 角度 设计 测试 。 


Hk pa | 今天 -日 期 
图 4-23 ”模型 五 技术 流 


口 字符 串 到 日 期 的 转化 : 软件 可 以 处 理 无 效 的 字符 串 吗 ? 软件 可 以 处 理 本 地 化 的 日 期 字符 
FB ( 如 中 文 日 期 字符 串 “ 二 零 一 三 年 一 月 一 日 " ) ? 软件 可 以 处 理 全 角 和 半角 字符 吗 ? 
O 获得 当前 日 期 ; 软件 如 何 获得 当前 日 期 ? 软件 使 用 本 地 时 间 ， 还 是 UTC 时 间 ? 

口 时 差 计算 〈 今 天 - ABD: 软件 用 何 种 数据 类 型 记录 时 差 ? 该 计算 会 导致 整数 溢出 吗 ? 
口 结果 报告 : 软件 如 何 将 时 差 数据 转化 成 年 龄 字符 串 ? 软件 如 何 报告 用 户 输入 的 错误 ? 软 
件 如 何 报告 计算 过 程 中 发 生 的 错误 ? 


最 后 ,Edgren 用 思维 导 图 对 质量 特性 进行 建 模 ,具体 模型 请 参考 图 4-24。 该 模型 剪裁 自 The Test 
Eye 发 布 的 软件 质量 特性 集 [TheTestEyel1] ( 参见 3.2.9 节 )， 将 测试 思考 聚焦 于 “完美 年 龄 计算 器 ” 
适用 的 质量 特性 上 。 


— 


准确 性 


支持 所 有 可 能 的 数据 格式 | 


资源 利用 | 性 能 鲁 棒 性 
数据 完整 性 
操作 系统 兼容 性 | ee 可 操作 性 
全 | 业 | 
符合 标准 业 性 
Ral 


图 4-24 ”模型 六 : 质量 特性 


在 以 上 讨论 中 ，Edgren 针 对 一 球 简 单 软件 ,创建 了 6 个 模型 。 面 对 复杂 的 软件 ,测试 人 员 会 
创建 更 多 的 模型 。 许 多 测试 模型 只 是 存在 于 测试 人 员 的 头脑 中 ,并 没有 记录 下 来 。 有 时 ,这 是 合 
理 做 法 ,因为 记录 模型 需要 花费 时 间 ， 直 接 使 用 简单 的 模型 可 以 更 快速 地 测试 。 有 时 ， 可视化 头 
脑 中 的 模型 是 更 好 的 策略 ， 它 可 以 从 以 下 几 个 方面 促进 更 好 的 测试 。 
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口 记录 模型 可 以 帮助 模型 的 演化 ， 简 单 的 模型 在 测试 过 程 中 会 发 展 成 丰富 的 模型 。 例 如 ， 

图 4-20 的 时 间 线 模型 发 展 出 图 4-21 的 详细 时 间 线 模型 和 图 4-22 的 年 月 日 模型 。 

O 一 些 测 试 模 型 可 以 应 用 于 多 个 测试 对 象 和 产品 ， 记 录 并 复 用 这 些 模型 能 够 提高 测试 效率 。 

例如 与 时 间 有 关 的 测试 设计 都 可 以 参考 图 4-21 的 详细 时 间 线 模型 。 

口 将 模型 记录 下 来 ， 可 以 将 它 分 享 给 测试 小 组 。 这 不 但 有 利于 知识 和 技能 的 传播 ， 还 可 以 

收集 同事 对 模型 的 反馈 ， 以 加 速 模 型 的 演化 。 

口 用 纸 笔 、 思 维 导 图 软件 等 工具 ， 测 试 人 员 可 以 灵活 地 记录 模型 。 只 要 付出 很 短 的 时 间 ， 
就 能 收获 有 价值 的 模型 。 

统计 学 家 George Box 曾 说 过 :“ 本 质 上 ， 所 有 模型 都 是 错 的 ,但 是 有 些 是 有 用 的 。” 
[WikipediaGEPB12]。 这 句 被 广泛 引用 的 名 言 道 出 了 建 模 的 真 诺 。 从 测试 建 模 的 角度 ， 这 人 句 话 有 3 
个 方面 的 意义 。 

第 一 ， 所 有 的 模型 都 是 对 软件 的 简化 ,是 片面 的 、 不 完整 的 。 如 果 测 试 人 员 只 使 用 单一 的 模 
型 或 少数 几 种 模型 ， 他 会 遭遇 认 知 偏差 ,从 而 错过 重要 的 测试 策略 ， 并 导致 缺陷 遗漏 。 测 试 人 员 
需要 用 多 个 模型 去 分 析 软 件 ， 从 而 产生 周密 的 、 多 样 化 的 测试 想法 。 

第 二 ， 正 因为 模型 总 是 不 完整 的 ， 测 试 人 员 不 必 追 求 “ 完 美的 模型 ”。 他 应 该 更 注重 模型 的 
实用 性 ， 更 多 地 考虑 模型 能 否 提供 好 的 测试 想法 。 

第 三 , 在 注重 实用 性 的 前 提 下 , 测试 人 员 需 要 发 现 并 消除 模型 的 错误 。 在 团队 中 分 享 模型 并 
收集 反馈 意见 是 一 个 很 好 的 方法 。 此 外 ,他 也 应 该 在 测试 迭代 中 持续 打磨 模型 一 一 用 模型 指导 测 
试 过 程 ， 同 时 让 测试 过 程 来 优化 模型 。 


4.3 小结 
本 章 介绍 了 测试 建 模 的 重要 性 ， 并 介绍 了 一 些 常 用 的 测试 模型 。 


口 无 论 测 试 人 员 是 否 有 意识 地 建 模 ， 任 何 测试 都 基于 模型 。 然 而 ， 认 真 去 构建 好 的 模型 ， 
将 提高 测试 过 程 的 质量 。 

口 测试 建 模 的 基本 任务 是 建立 被 测 对 象 的 模型 ， 以 帮助 理解 软件 和 设计 测试 。 

O 纯粹 的 “通用 模型 ”远离 业务 领域 和 设计 实现 ， 需 要 做 “因地制宜 ”的 改良 ， 才 能 发 挥 
作用 。 改 良 的 基本 方法 是 使 用 业务 需求 、 产 品 元 素 、 项 目 环境 的 信息 去 丰富 和 调整 模型 。 
口 构建 模型 需要 简化 和 聚焦 ， 使 用 模型 需要 扩展 和 发 散 。 

口 RE I AA id E TRE CITA o 

O “本 质 上 ， 所 有 模型 都 是 错 的 ， 但 是 有 些 是 有 用 的 。 

口 不 要 追求 完美 的 模型 ， 要 创建 注重 实效 的 模型 。 模 型 是 测试 设计 的 工具 ， 好 的 模型 将 有 
力 支 持 测试 设计 。 
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O 不 要 依赖 单一 的 模型 ， 要 综合 多 个 模型 ， 以 避免 认 知 偏差 。 不 要 完全 信赖 任何 模型 ， 要 

通过 测试 去 质疑 并 改进 模型 。 

口 启发 式 测试 策略 模型 HTSM 是 一 个 指导 测试 设计 和 风险 分 析 的 概念 框架 , 测试 人 员 需 要 根 

据 项 目 语 境 对 其 进行 裁剪 和 丰富 。 

O 在 测试 中 ， 功 能 列表 ( 针对 软件 能 力 )、 输 入 与 输出 模型 ( 针对 软件 与 外 界 的 交互 )、 系 
RESE ( 针对 软件 结构 )、 实 体 关系 模型 ( 针对 数据 关系 )、 状 态 机 模型 ( 针对 软件 状 
态 )、 质 量 特性 列表 ( 针对 多 样 化 的 质量 ) 等 是 常见 的 测试 模型 。 

口 测试 人 员 可 以 针对 特定 领域 或 测试 对 象 开 发 出 多 种 多 样 的 模型 。 

口 条 件 分 析 是 一 种 启发 测试 思路 的 常见 方法 。 
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如 果 说 测试 是 为 了 发 现 错误 而 执行 程序 的 过 程 , 那么 测试 技术 就 是 运行 程序 并 判断 其 对 错 的 
具体 方法 。 高 效 的 测试 要 求 测试 人 员 根 据 软 件 产品 和 项 目 环境 选择 合适 的 测试 技术 , 并 灵活 机 动 
地 加 以 运用 。 假如 测试 人 员 只 掌握 少数 几 种 测试 技术 ,那么 他 很 难 作出 合理 的 选择 ,也 很 难 用 多 
样 化 的 测试 来 调查 复杂 的 软件 。 为 了 高 质量 地 完成 测试 任务 , 测试 人 员 需 要 在 工作 中 持续 学 习 测 
试 技术 ,分 析 它 们 的 长 处 、 不 足 和 适用 情况 ， 以 逐渐 完善 自己 的 测试 技术 体系 。 


本 章 首 先 介 绍 一 个 测试 技术 分 类 系统 ， 以 概览 各 类 测试 技术 。 然后， 面向 测试 设计 和 执行 讨 
论 一 批 有 价值 的 测试 技术 。 


5.1 测试 技术 分 类 系统 


本 节 介 绍 Cem Kaner 教 授 建立 的 测试 技术 分 类 系统 [Kaner01][Kaner11]。 该 分 类 系统 经 过 十 余 
年 的 发 展 ， 比 较 成 熟 ， 对 测试 技术 的 理解 和 选择 很 有 帮助 。 


Cem Kaner 认 为 测试 技术 会 从 7 个 方面 对 测试 过 程 进行 指导 。 


口 范围 : 测试 的 对 象 。 例 如 ， 功 能 测试 的 测试 对 象 通常 是 一 个 具体 的 功能 或 特性 。 

O 覆盖 : 测试 的 程度 。 例 如 ， 如 果 测 试 时 间 很 有 限 ， 测 试 人 员 通 党 只 能 测试 一 个 功能 的 主 
要 场景 ;如 果 测 试 时 间 充 裕 ， 他 会 测试 更 多 的 场景 和 操作 方式 ， 以 扩大 测试 覆盖 。 通 党 ， 
测试 人 员 会 统一 考虑 测试 的 范围 和 覆盖 。 

口 测试 者 : 由 谁 来 执行 测试 。 例 如 ,许多 软件 厂商 提供 Beta 版 本 供用 户 试用 ,以 便 收集 他 们 

对 早期 版 本 的 意见 。 对 于 Beta 测 试 ， 其 测试 执行 者 就 是 软件 试用 者 。 

口 风险 : 测试 要 去 发 现 的 潜在 问题 。 例 如 ，Google ACC 所 重点 侦 测 的 风险 是 产品 的 功能 不 

能 提供 有 竞争 力 的 特性 。 

口 活动 : 测试 如 何 执 行 。 例 如 ， 两 因素 组 合 测试 规定 测试 用 例 集 要 覆盖 任意 两 个 因素 的 取 

值 组 合 。 

口 评估 和 测试 先知 : 如 何 评价 测试 是 否 通过 。 例 如 ， 测 试 人 员 会 使 用 软件 的 先前 版 本 来 判 

断 软 件 的 行为 是 否 向 后 兼容 。 
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口 结果 导向 : 测试 的 目标 。 例 如 ，BVT (build verification testing ) 的 目标 是 检查 构建 是 否 足 
够 稳定 可 用 于 更 大 范围 的 测试 。 


任何 测试 活动 都 会 涉及 以 上 所 有 方面 ， 而 一 个 具体 的 测试 技术 通常 只 着 力 于 其 中 的 1~3 项 。 
例如 ,组 合 测试 算法 只 讨论 如 何 生成 测试 输入 数据 ， 即 只 覆盖 了 “活动 ”的 一 部 分 ， 对 于 其 他 方 
面 没有 讨论 。 为 了 应 用 测试 技术 , 测试 人 员 不 但 要 知晓 它 解决 了 哪些 问题 , 更 要 了 解 它 没有 解决 
哪些 问题 。 在 实际 测试 中 ， 测 试 人 员 需 要 根据 项 目 语 境 ， 补 上 相应 的 空白 。 


利用 以 上 测试 驱动 因素 ，Cem Kaner 建 立 了 一 个 六 要 素 测试 分 类 系统 。 因 为 许多 技术 考虑 了 
多 个 驱动 因素 ,所 以 它们 会 属于 多 个 分 类 。 这 提示 测试 人 员 要 多 角度 地 考虑 测试 技术 ,选择 适合 
当前 任务 的 切入 点 去 应 用 它们 。 以 下 是 该 测试 分 类 系统 的 六 大 分 支 。 


第 一 ， 基 于 覆盖 的 测试 技术 关注 测试 的 范围 和 覆盖 。 上 典型 的 测试 技术 如 下 。 


O 功能 测试 : 覆盖 产品 的 功能 。 

O 功能 或 特性 的 集成 测试 : 覆盖 功能 之 间 的 交互 。 

口 漫游 测试 : 其 基本 策略 是 搜索 产品 的 一 个 区 域 , 并 收集 相关 信息 (5.4 节 将 介绍 漫游 测试 )。 

这 通 稼 要 求 覆 盖 指 定 的 一 组 测试 对 象 。 

O 等 价 类 分 析 : 覆盖 所 有 的 等 价 类 。 

口 边界 测试 : 覆盖 边界 值 和 邻近 区 域 。 

O 最 佳 代表 测试 : 要 求 从 众多 测试 用 例 中 选择 最 有 代表 性 的 测试 用 例 ， 常 见 的 例子 包括 用 

户 最 可 能 使 用 的 数据 、 给 产品 最 大 挑战 的 数据 、 最 能 暴露 风险 的 数据 等 。 

口 域 测试 : 从 一 个 数值 集合 中 选择 测试 输入 数据 ， 等 价 类 分 析 和 边界 测试 是 典型 的 域 测 
试 技术 。 如 果 和 穷尽 测试 不 可 行 ， 那 么 域 测 试 要 选择 出 典型 的 测试 数据 ， 然 后 分 别 加 以 
T iio 

O 测试 想法 目录 : 包括 测试 想法 列表 、 质 量 特性 列表 、 缺 陷 目 录 等 启发 式 想法 集合 。 测 试 

人 员 要 依次 检查 每 个 想法 ， 选 择 合适 的 想法 来 设计 具体 的 测试 。 

O 逻辑 表达 式 : 覆盖 逻辑 表达 式 的 所 有 可 能 输入 。 

O 多 变量 测试 : 使 用 某 种 覆盖 标准 去 测试 多 个 变量 的 取 值 组 合 ， 组 合 测试 是 一 种 多 变量 测 

试 技术 (参见 4.1.1 节 )。 

口 状态 变迁 测试 : 覆盖 状态 机 中 所 有 的 变迁 (4.2.5 )。 

口 用 户 界面 测试 : 覆盖 所 有 用 户 可 访问 的 界面 元 素 。 

O 基于 规格 说 明 的 测试 : 检查 规格 说 明 的 所 有 陈 诉 得 到 正确 地 实现 。 

口 基于 需求 的 测试 : 检查 所 有 需求 被 正确 地 实现 。 

O 依从 性 测试 : 检查 软件 符合 所 有 需要 满足 的 法 律 和 约定 。 

O 配置 测试 : 覆盖 所 有 或 典型 的 软 硬 件 配置 组 合 。 

O 本 地 化 测试 : 覆盖 所 有 被 本 地 化 的 元 素 ， 包 括 界面 字符 串 、 日 期 格式 、 货 币 格式 、 字 符 
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第 二 ， 基 于 测试 者 的 测试 技术 关注 谁 来 执行 测试 。 

口 用 户 测试 : 让 实际 用 户 测 试 产品 。 通 常 ， 测 试 人 员 与 用 户 一 起 工作 ， 收 集 用 户 发 现 的 缺 

陷 和 提出 的 意见 。 

口 Alpha 测 试 : 让 产品 的 早期 用 户 〈 通 常 是 公司 同事 ) 试用 产品 。 

口 Beta 测 试 : 让 一 批 实际 用 户 测试 产品 。 测 试 人 员 不 与 用 户 共同 测试 ， 但 会 分 析 用 户 提交 

的 缺陷 。 

口 缺陷 大 扫除 : 邀请 项 目 团队 的 所 有 人 员 参 与 测试 ， 旨 在 让 不 同 的 人 通过 不 同 的 视角 来 检 

查 软 件 ， 从 而 在 短 时 间 内 (缺陷 大 扫除 通常 持续 1~2 天 ) 发 现 大 量 的 缺陷 。 

口 专家 测试 : 邀请 领域 专家 和 测试 人 员 结对 测试 。 

口 结对 测试 : 让 测试 人 员 和 测试 人 员 结对 、 测 试 人 员 和 程序 员 结 对 ， 从 而 产生 更 多 差异 化 

的 测试 想法 。 

口 内 部 试用 : 让 项 目 团队 在 日 常 工作 中 使 用 自己 开发 的 产品 ， 从 而 尽早 发 现实 际 用 户 会 遇 

到 的 问题 。 

O 本 地 化 测试 : 让 熟悉 目标 市 场 文 化 的 人 来 测试 软件 。 例 如 ，Microsoft Word 团 队 的 成 员 来 
自 五 湖 四 海 。 团 队 领 导 通 常会 安排 来 自 中 国 的 员工 执行 Word 中 文 版 和 中 文 输入 法 的 专项 
测试 。 

第 三 ， 基 于 风险 的 测试 技术 关注 潜在 问题 。 

口 边界 测试 : 其 关注 的 是 软件 在 处 理 边 界 值 时 很 可 能 出 错 的 风险 。 


口 快速 测试 : 一 组 很 轻便 的 测试 方法 ， 针 对 一 组 典型 的 软件 错误 实施 攻击 〈5.5 节 将 介绍 快 
速 测试 )。 


口 约束 测试 : 利用 输入 约束 、 输 出 约束 、 计 算 约束 和 数据 约束 对 软件 进行 测试 。 这 些 约束 

往往 涉及 软件 能 力 的 边界 ， 会 暴露 软件 的 不 足 ( 5.3.3 节 将 介绍 约束 检查 )。 

O 逻辑 表达 式 : 关注 多 个 条 件 变 量 的 组 合 ， 以 检查 软件 能 否 处 理 一 些 罕见 的 情况 。 

口 压力 测试 : 关注 软件 如 何 应 对 远 远 超过 正常 工作 量 的 负荷 ， 此 时 一 些 隐藏 的 缺陷 很 可 能 

口 负载 测试 : 关注 软件 能 否 有 效 地 使 用 资源 去 处 理工 作 负 载 。 其 针对 的 风险 是 软件 不 能 合 
理 地 使 用 资源 ， 当 工作 负载 还 没有 到 达 预 期 上 限时 ， 它 已 经 占用 了 太 多 的 资源 ， 且 处 理 
速度 变 得 很 慢 。 

口 性 能 测试 : 关注 软件 能 否 在 可 接受 的 时 间 内 完成 计算 任务 。 其 针对 的 风险 是 软件 的 反应 

速度 不 能 满足 用 户 的 期 望 。 

口 基于 历史 的 测试 : 要 求 测试 人 员 分 析 先 前 版 本 中 所 发 现 的 错误 ， 识 别 出 可 能 再 次 复 现 的 
缺陷 ， 利 用 它们 去 设计 测试 。 其 针对 的 风险 是 程序 员 会 犯 同样 的 错误 ,或 者 茶 些 缺 陷 描 
述 了 业务 或 技术 面临 的 根本 性 困难 ， 很 难 彻 底 解决 。 

口 基于 风险 的 多 变量 测试 ， 从 风险 的 角度 测试 多 个 变量 的 取 值 组 合 。 例 如 ，4.1.2 节 在 测试 


uh 
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Word 的 高 级 对 话 框 时 ， 建 议 测试 默认 设置 和 只 更 改 了 一 个 配置 项 的 设置 ， 因 为 它们 更 贴 
近 用 户 的 使 用 情景 ， 更 容易 暴露 真实 用 户 会 遇 到 的 问题 。 
口 可 用 性 测试 : 检查 软件 是 否 容易 学 习 和 使 用 。 其 关注 的 风险 是 糟糕 的 软件 设计 让 用 户 感 
到 挫折 ， 以 致 他 们 会 使 用 竞争 对 手 的 产品 。 
口 配置 和 兼容 性 测试 : 检查 软件 在 不 同 软 硬 件 平台 上 的 表现 ， 所 针对 的 风险 是 产品 可 能 
FEE GERM. 
O 互 操作 性 测试 : 检查 软件 与 相关 系统 的 交互 。 因 为 几 个 系统 通常 由 不 同 的 团队 开发 ， 他 
们 对 交互 协议 可 能 有 不 同 的 解读 ， 所 以 系统 交互 总 是 会 暴露 出 各 种 复杂 的 问题 。 
口 长 序列 测试 : 反复 且 随 机 地 运行 一 组 测试 用 例 。 因 为 测试 序列 漫长 且 获 盖 面 广 ， 它 可 能 
暴露 内 存 泄漏 、 竞 态 条 件 、 悬 挂 指针 等 问题 。 


第 四 ， 基 于 活动 的 测试 技术 关注 如 何 执行 测试 。 


口 游击 测试 : 测试 人 员 在 固定 的 时 间 盒 内 ， 对 软件 的 特定 区 域 实施 基于 风险 的 测试 。 

口 两 因素 组 合 测试 : 测试 人 员 需 要 生成 符合 两 因素 组 合 覆 盖 标 准 的 测试 数据 。 通 常 测试 人 

员 会 利用 组 合 测试 工具 生成 测试 数据 。 

O 随机 测试 : 利用 随机 数 生 成 器 去 产生 测试 数据 、 安 排 测试 顺序 或 选择 测试 对 象 。 

口 用 例 测 试 : 根据 用 例 或 序列 图 来 设计 测试 序列 ， 以 覆盖 软件 的 操作 序列 。 

口 情景 测试 : 创建 一 个 或 一 组 故事 来 测试 软件 在 故事 场景 中 的 表现 。 

口 安装 测试 ， 在 不 同 的 平 全 上 安装 和 印 载 软件 ， 并 检查 操作 结果 。 

口 回归 测试 : 运行 已 有 的 测试 用 例 来 再 次 测试 相同 的 功能 。 

O 长 序列 测试 : 要求 测试 整 晚 运 行 或 持续 几 天 ， 以 发 现 一 些 短 时 间 测 试 不 能 发 现 的 问题 。 

口 猴子 测试 :要求 测试 人 员 构 建 自动 化 测试 程序 ， 来 随机 地 、 持 续 地 、 自 动 地 测试 产品 。 
例如 ， 测 试 程序 基于 产品 的 自动 机 模型 和 当前 状态 ， 随 机 地 选择 触发 事件 ， 以 触发 状态 
变迁 ， 并 持续 迭代 下 去 。 在 此 过 程 中 ,测试 程序 会 判断 变迁 是 否 正确 、 产 品 是 否 出 现 
错误 。 

O 性 能 测试 : 要 求 测试 人 员 识 别 用 户 使 用 产品 的 典型 模式 ,确定 需要 评估 的 性 能 指标 ， 然 

后 构造 出 相应 的 测试 流程 去 考察 软件 的 性 能 。 


第 五 ， 基 于 评估 的 测试 技术 关注 如 何 判断 测试 通过 。 


O 功能 等 价 测试 : 比较 被 测 软件 的 行为 和 参考 软件 〈 例 如 已 经 发 布 的 上 一 版 软件 ) 的 行为 。 
如 果 被 测 软件 的 行为 与 参考 软件 不 一 致 ， 那 么 它 很 可 能 出 现 错误 。 

口 数学 先知 : 根据 数学 规则 判断 测试 结果 的 对 错 。 例 如 ， 三 角 函 数 、 求 平方 根 、 和 矩阵 转 置 
等 计算 的 结果 都 需要 满足 数学 定理 和 计算 法 则 。 

O 约束 检查 : 根据 一 组 规则 判断 测试 是 否 通 过 。 例 如 ， 测 试 随机 数 生 成 函数 时 ,测试 人 员 
很 难 判断 每 一 个 输出 是 否 正确 。 他 可 以 持续 调用 该 函数 ， 收 集 一 大 批 随机 数 结果 ， 然 后 
分 析 这 批 数 据 。 如 果 数 据 分 布 足 够 均匀 ， 不 存在 明显 的 规律 ， 那么 该 函数 的 质量 就 较 好 ; 
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又 省 


如 果 数 据 分 布 呈 现 出 某 种 规律 ， 以 致 测试 人 员 可 以 预测 下 一 次 输出 的 取 值 ， 那 么 该 函数 
还 需要 改进 。 

O 自 检验 数据 : 包含 可 以 用 于 检验 的 数据 。 例 如 ,为 了 暴露 对 数据 的 异常 修改 ,测试 人 员 计 
算 了 数据 的 哈 希 值 ， 让 它 随 数据 在 系统 中 传播 。 每 经 过 一 个 模块 后 ,测试 程序 会 重新 计算 
数据 的 哈 希 值 ， 并 与 先前 保存 的 值 进 行 比较 。 如 果 两 个 值 不 同 ， 那 么 数据 被 该 模块 算 改 。 

O 比较 已 保存 的 结果 : 通过 对 比 前 后 两 个 版 本 产生 的 数据 , 来 侦 测 新 版 本 可 能 引入 的 错误 。 

口 比较 规格 说 明 或 其 他 权威 文档 : 根据 权威 文档 来 判断 软件 的 行为 是 否 正确 。 

O 基于 诊断 的 测试 : 会 使 用 软件 的 调试 功能 或 一 些 调 试 辅助 工具 。 当 调试 功能 被 打开 或 畏 
助 工 具 被 启用 时 ， 这 些 面 向 诊断 的 代码 会 持续 检查 产品 的 状态 。 当 测试 人 员 运行 测试 时 ， 
它们 可 以 发 现 产 品 的 异常 状态 ， 如 内 存 泄 漏 、 句 柄 泄漏 、 未 处 理 系 统 调 用 错误 等 ， 并 报 
告 给 测试 人 员 。 

O 可 检验 的 状态 模型 : 使 用 测试 人 员 构 建 的 状态 机 为 测试 先知 。 测 试 程序 调用 软件 接口 ， 
以 驱动 状态 变迁 ,然后 比较 软件 的 实际 状态 和 预期 状态 ， 以 检查 可 能 的 错误 。 


第 六 ， 结 果 导 向 的 测试 技术 关注 于 特定 目标 或 文档 。 


口 构建 检验 : 其 目标 是 判断 当前 构建 是 否 足够 好 ， 能 和 否 提供 给 测试 小 组 或 更 广泛 的 用 户 去 
测试 。 
口 确认 测试 : 运行 精心 设计 的 确认 测试 用 例 ， 其 目标 是 证 明 软 件 满足 预先 定义 的 要 求 。 

口 用 户 接受 测试 : 运行 用 户 指定 或 认可 的 一 批 测试 用 例 ， 其 目标 是 证 明 软 件 达到 了 用 户 可 
接受 的 标准 。 

口 认证 测试 要求 测 试 小 组 提供 证 据 以 表明 产品 或 产品 制造 过 程 满足 某 个 认证 标准 。 


利用 以 上 分 类 系统 ,测试 人 员 可 以 判断 一 个 测试 技术 的 驱动 因素 是 什么 ,了 解 它 着 眼 于 何 处 、 
咯 了 哪些 方面 。 在 学 习 测 试 技术 时 , 测试 人 员 可 以 快速 定位 它 在 分 类 系统 中 的 位 置 。 在 选择 


测试 技术 时 ， 他 可 以 同时 运用 来 自 不 同 分 支 的 测试 技术 ， 以 实施 多 样 化 的 测试 。 


Cem Kaner 从 测试 驱动 因素 的 角度 定义 了 测试 分 类 系统 ， 而 测试 专家 Lisa Chrispin 和 Janet 


Gregory 从 测试 技术 与 产品 开发 的 角度 提出 了 敏捷 测试 四 象限 [Chrispin09]。 如 图 $-1 所 示 ， 他 们 将 
测试 技术 划分 到 Q1~Q4 4 个 象限 中 。 


口 Q1: 面向 技术 的 、 支 持 项 目 团队 的 自动 化 测试 ， 例 如 单元 测试 、 组 件 测试 等 。 

口 Q2: 面向 商业 的 、 支 持 项 目 团队 的 自动 化 和 手工 测试 ， 包 括 功能 测试 、 样 例 、 用 户 故 如 
测试 、 原 型 、 模 拟 等 。 

口 Q3: 面向 商业 的 、 考 验 产 品 的 手工 测试 ,包括 探索 式 测试 ", 情景 测试 、 可 用 性 测试 、 用 
户 验 收 测试 、Alpha 及 Beta 测 试 等 。 


aby 


D 我 不 同意 Lisa Chrispin 和 Janet Gregory 将 探索 式 测试 置 于 Q3 象 限 。 探索 式 测试 是 一 种 并 行 地 实施 测试 学 习 、 测 试 设 


计 、 测 试 执行 和 结果 评估 的 测试 风格 。 作 为 一 种 测试 思维 方法 ， 它 可 以 指导 4 个 象限 的 任何 一 种 测试 技术 的 使 用 。 
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口 Q4: 面向 技术 的 、 考 验 产 品 的 、 使 用 工具 的 测试 ， 例 如 性 能 测试 、 负 载 测试 、 安 全 性 测 
试 、 质 量 特性 测试 等 。 


自动 化 和 手工 测试 面向 商业 手工 测试 


功能 测试 探索 式 测试 
样 例 情景 测试 
用 户 故事 测试 可 用 性 测试 
原型 用 户 验 收 测 试 
支 模拟 Alpha 及 Beta 测 试 
~ Q2 | Q3 
pi Q1 | Q4 a 
BA 
性 能 测试 
单元 测试 负载 测试 
组 件 测试 安全 性 测试 
质量 特性 测试 


自动 化 测试 面向 技术 


图 5-1 敏捷 测试 四 象限 
利用 敏捷 测试 四 象限 , 测试 人 员 可 以 快速 理解 测试 技术 在 软件 开发 中 的 位 置 , 并 根据 当前 任 
务 选择 合适 的 测试 技术 。 可见 , 掌握 几 种 测试 分 类 方法 ， 可 以 帮助 测试 人 员 从 多 个 角度 思考 测试 
技术 ， 获 得 比较 全 面 的 理解 。 


5.2 局 发 式 方法 


在 分 析 有 具体 的 测试 技术 之 前 , 本 节 将 简介 启发 式 方法 的 基本 概念 , 因为 本 书 已 经 讨论 或 即将 
讨论 的 测试 技术 几乎 都 属于 局 发 式 方法 。 


启发 式 方法 是 指 人 们 在 学 习 、 发 现 、 解 决 问题 时 所 使 用 的 一 种 基于 经 验 的 方法 
[WikipediaHeuristic12]。 在 日 常生 活 中 ， 人 们 常用 经 验 来 处 理 复杂 的 现实 问题 。 例 如 ， 去 超市 选 
购 牛奶 , 货架 上 的 产品 可 能 有 几 十 种 之 多 。 为 了 在 儿 分 钟 之 内 作出 决定 , 购买 者 往往 会 综合 儿 条 
经 验 规则 去 选 购 。 例 如 价格 高 意味 着 质量 好 、 生 产 日 期 越 近 越 好 、 熟 悉 的 产品 比较 好 (产品 的 熟 
悉 程度 有 时 取决 于 厂商 所 投放 的 广告 ) 等 。 这 些 经 验 在 大 多 数 时 候 是 有 效 的 ， 能 够 快速 地 获得 比 
较 好 的 答案 。 但 是 任何 经 验 都 不 能 适用 于 所 有 情况 ,不 假 思索 地 使 用 它们 , 会 导 臻 “ 认 知 偏差 ”， 
以 致 于 得 出 错误 的 结论 。 
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在 计算 机 领域 , 启发 式 方法 被 用 于 获得 接近 最 优 解 的 近似 解 。 计 算 机 领域 存在 大 量 的 复杂 问 
题 , 研究 者 对 于 一 部 分 问题 提出 了 算法 ,能 够 在 可 接受 的 时 间 获 得 它们 的 最 优 解 。 例 如 ,计算 机 
科学 家 Edsger Wybe Dijkstra 提 出 的 最 短路 径 算法 , 以 O(n ) 的 时 间 复 杂 度 计算 出 联通 图 中 两 点 间 的 
最 短路 径 。 对 于 男 一 些 问 题 ， 并 不 存在 多 项 式 时 间 的 最 优 解 计算 方法 。 对 此 ,研究 者 们 提出 了 启 
发 式 方法 ， 它 们 基于 某 种 简化 的 规则 或 理论 ， 能 够 迅速 地 搜索 解 空间 ， 发 现 足够 好 的 解决 方案 。 
本 质 上 ， 局 发 式 方法 是 一 种 有 风险 的 “捷径 ”， 不 能 保证 提供 最 优 和解。 虽然 在 多 数 情况 下 它 可 以 
提供 近似 解 ， 但 是 有 时 它 会 给 出 很 差 的 答案 。 


在 软件 测试 领域 , 测试 人 员 也 面临 高 度 复杂 的 问题 : 如 果 穷 尽 测 试 是 不 可 行 的 ， 如 何 从 无 穷 
多 的 测试 用 例 中 选择 最 有 代表 性 的 测试 集合 ,以 发 现 所 有 的 软件 缺陷 ? 对 于 大 多 数 软件 , 选择 最 
有 代表 性 的 测试 集合 和 发 现 所 有 缺陷 是 “不 可 能 任务 "， 是 无 法 在 有 限时 间 内 完成 的 。 为 此 ， 测 
试 实践 者 基于 思考 和 经 验 提 出 了 一 批 指导 测试 设计 、 测 试 执行 和 结果 评估 的 启发 式 方法 。 例 如 ， 
边界 测试 的 经 验 是 软件 常常 在 处 理 数值 边界 时 出 错 , 等 价 类 分 析 的 经 验 是 等 价 类 中 的 一 个 取 值 可 
以 代表 其 他 所 有 取 值 。 实际 上 ,启发 式 方法 一 直 是 测试 实践 的 主流 方法 ,大 多 数 耳 熟 能 详 的 测试 
方法 都 基于 某 些 启发 式 的 想法 。 测 试 小 组 通过 使 用 多 种 启发 式 方法 ,可 以 发 现 大 部 分 重要 的 缺陷 ， 
以 构建 满足 市 场 要 求 的 “足够 好 ”的 软件 。 


在 测试 中 , 启发 式 方法 针对 复杂 的 测试 问题 提出 了 一 种 简单 的 、 较 可 能 成 功 的 解决 思路 。 使 
用 启发 式 方法 , 测试 人 员 可 以 快速 地 采取 行动 , 在 实践 中 去 探索 答案 ， 从 而 避免 陷于 无 止境 的 问 
题 分 析 。 启 发 式 方法 是 语 境 依赖 的 ， 即 一 种 启发 式 方法 会 在 某 些 环境 中 大 获 成 功 , 却 在 另 一 些 环 
境 中 不 起 作用 。 因 为 启发 式 方法 有 时 候 会 失败 , 明智 的 测试 人 员 不 会 只 依赖 一 种 或 少数 几 种 启发 
式 方法 ， 他 会 综合 运用 多 个 启发 式 方法 。 例 如 James Bach 所 提出 的 启发 式 测试 策略 模型 用 5 个 方 
面 、 几 十 个 因素 来 驱动 测试 设计 [Bach12] ( 参见 4.2.1 节 )， 又 例如 The Test Eye 发 布 的 文档 讨论 了 
测试 想法 的 37 个 来 源 [TheTestEye12] ( 参见 3.2.8 节 )。 此 外 , 测试 人 员 需 要 用 批判 性 思考 来 研究 他 
所 使 用 的 每 项 技术 ， 知 晓 它 的 优点 与 不 足 ， 从 而 在 实际 测试 中 扬长 避 短 [Bach04b]。 而 研究 技术 
必 不 可 少 的 一 环 是 在 测试 实践 中 使 用 它 ， 通 过 实战 来 积累 经 验 与 教训 。 


除了 收集 、 学 习 、 整 理 已 有 的 启发 式 方法 ， 优 秀 的 测试 人 员 还 会 开发 出 自己 的 启发 式 方法 。 
测试 专家 James Bach 长 期 研究 并 实践 软件 测试 ， 提 出 过 许多 启发 式 测试 方法 。 他 建议 测试 人 员 在 
测试 实践 中 建立 启发 式 方法 ， 并 给 出 了 如 下 实施 方案 [Kelly05a]。 


(1) 尝试 去 解决 一 个 问题 。 

(2) 分 析 问 题 和 解决 方案 ， 识 别 出 问 题 的 特征 和 解决 方案 的 模式 。 

(3) 深入 研究 所 发 现 的 模式 ， 理 解 它 所 针对 的 问题 ， 明 确 它 的 适用 范围 、 基 本 假设 、 实 施 步 
又 、 检 查 方法 、 优 势 与 不 足 ， 从 而 获得 精炼 的 、 可 用 于 实战 的 启发 式 方法 。 

(4) 命名 该 启发 式 方法 。 许 多 方法 的 名 字 来 自 于 它们 的 “隐喻 ”， 例 如 漫游 测试 就 用 “漫游 ” 
来 比喻 测试 过 程 对 于 产品 空间 的 遍历 访问 。 

(5) 在 实际 工作 中 ， 使 用 该 启发 式 方法 ， 并 利用 真实 反馈 来 改进 它 。 
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O 发 现 方法 的 不 足 之 处 ， 并 加 以 完善 。 
O 更 改 方法 的 名 字 ， 使 名 字 能 够 揭示 方法 的 核心 特征 ， 且 容易 记忆 。 
口 一 个 启发 式 方法 要 经 过 多 次 实验 才能 成 熟 。 测 试 人 员 既 要 合理 地 质疑 方法 的 有 效 性 ， 又 
要 对 持续 改进 的 结果 抱 有 信心 。 
此 外 ,好 的 方法 不 但 需要 反复 磨炼 ， 还 需要 集思广益 。 当 新 方法 比较 成 熟 时 ， 测 试 人 员 可 以 
把 它 分 享 给 同事 、 测 试 专家 或 测试 社区 。 邀 请 不 同 的 人 评论 方法 、 收 集 来 自 各 方面 的 意见 ， 有 助 
于 发 现 方法 的 优 缺 点 ， 从 而 更 有 效 地 改进 和 使 用 。 


5.3 测试 先知 


所 有 测试 都 离 不 开 测试 先知 , 它 是 应 用 任何 测试 技术 都 需要 考虑 的 环节 。 本 节 首 先 讨论 测试 
先知 的 定义 ， 然 后 介绍 一 组 有 帮助 的 测试 先知 。 


5.3.1 测试 先知 的 定义 


测试 先知 是 一 种 识别 潜在 问题 的 启发 式 原则 或 机 制 区 aner10]。 该 定义 和 常见 的 “测试 先知 是 
判断 测试 是 否 通过 的 方法 ”有 三 点 重要 区 别 。 


第 一 ， 测 试 先 知 的 任务 是 “识别 潜在 问题 ” 


所 谓 “问题 ”是 降低 软件 质量 的 因素 ， 而 质量 是 对 某 个 〈 某 些 ) 人 而 言 的 价值 [Gause89]。 
可 见 ,“ 问 题 ”的 完整 含义 是 “ 茶 些 人 的 问题 ”， 是 一 个 主观 的 价值 判断 。 为 了 有 效 地 识别 问题 ， 
测试 人 员 需 要 理解 项 目 关 系 人 客户、 用 户 、 产 品 经 理 、 程 序 员 、 管 理 人 员 等 ) 对 软件 的 期 望 ， 
知晓 软件 通过 何 种 途径 为 他 们 服务 。 在 测试 中 , 他 需要 用 不 同 关 系 人 的 视角 考察 软件 , 来 发 掘 危 
害 软件 价值 的 问题 。 如 果 他 只 从 自己 或 单一 关系 人 的 角度 考虑 软件 , 那么 他 可 能 错过 对 其 他 人 而 
言 很 重要 的 问题 。 


我 发 现 我 有 时 会 落 入 一 个 思维 陷阱 , 即 测试 时 只 考虑 软件 的 行为 是 否 符合 产品 经 理 编写 的 规 
格 说 明 ， 而 忽略 软件 设计 是 否 真 正 提高 了 软件 对 用 户 的 价值 。 这 样 ,我 可 能 放 过 一 些 符合 规格 说 
明 但 值得 改进 的 问题 。 通 常 ， 有 经 验 的 产品 经 理 可 以 提出 一 个 “足够 好 ”的 设计 ， 然 而 “优秀 ” 
的 产品 必须 要 经 过 实际 使 用 的 “打磨 ”。 我 发 现 优秀 的 测试 人 员 会 从 用 户 的 角度 “把 玩 ” 产 品 ， 
对 产品 的 设计 和 实现 提出 很 多 的 疑问 或 意见 。 负 责任 的 产品 经 理 和 程序 员 会 感谢 测试 人 员 的 琢 
磨 ， 并 认真 思考 他 们 的 提议 。 


第 二 ， 测 试 人 员 不 能 依靠 单一 的 测试 先知 去 判断 测试 是 否 通过 。 


由 4.2.2 节 关于 软件 输入 与 输出 的 讨论 可 知 ， 软 件 行为 可 能 产生 多 种 输出 ， 每 种 输出 都 可 能 
隐藏 错误 。 比 如 , 测试 一 款 计算 器 软件 ， 当 输入 “1+1” 时 ,软件 返回 结果 2。 从 数学 运算 的 角度 ， 
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这 是 正确 的 , 但 是 该 计算 操作 可 能 还 隐藏 着 其 他 问题 。 例 如 ， 软 件 显示 结果 时 ,， 它 的 界面 快速 地 
闪烁 了 一 下 ， 这 会 引起 用 户 的 不 适 。 再 例如 ， 软 件 用 了 2 秘 钟 的 时 间 才 返回 计算 结果 ， 这 样 的 运 
算 速 度 破坏 了 用 户 体 验 。 再 例如 ， 每 次 算术 运算 都 会 泄漏 1MB 内 存 ， 经 过 多 次 计算 后 ,计算 器 进 
程 将 占据 大 量 的 内 存 ， 以 致 影响 到 计算 机 性 能 。 可 见 ， 即 便 是 最 简单 的 操作 ， 也 需要 从 多 个 角度 
进行 检查 。 一 个 测试 先知 只 检查 软件 的 特定 方面 , 能 够 发 现 相 关 的 缺陷 , 但 不 能 发 现 所 有 的 问题 。 
为 测试 人 员 需 要 全 面 调查 软件 的 质量 信息 ， 所 以 他 应 该 运用 多 种 测试 先知 去 检查 软件 的 行为 。 
如 果 他 的 测试 执行 缺少 某 个 重要 的 测试 先知 ， 那 么 他 很 可 能 错过 一 些 特定 方面 的 错误 。 


第 三 ， 测 试 先 知 本 质 是 一 种 启发 式 方法 ， 它 提供 了 有 效 的 检查 策略 ， 但 不 能 发 现 所 检查 领域 
内 的 所 有 缺陷 。 


正如 编程 小 组 不 能 构建 完美 的 软件 , 测试 小 组 也 不 可 能 构造 完美 的 测试 先知 。 反 过 来 说 ， 如 
果 菏 种 方法 可 以 提供 绝对 正确 的 结果 ,编程 小 组 一 定 会 用 它 来 实现 软件 ,而 无 需 进一步 测试 。 在 
真实 项 目 中 ,测试 先知 是 一 种 “捷径 ”， 它 基于 某 种 原则 或 机 制 ， 针 对 特定 领域 提出 一 些 测试 想 
法 ， 用 不 完美 但 可 能 成 功 的 策略 去 检查 隐藏 的 缺陷 。 例 如 ,测试 数学 函数 时 ,一 种 典型 的 测试 先 
知 是 检查 函数 在 某 些 点 或 某 个 区 间 的 返回 值 是 否 符合 其 数学 性 质 。 该 测试 先知 利用 数学 知识 简化 
了 测试 设计 , 用 有 限 的 检查 取代 了 穷尽 测试 。 其 不 足 是 它 不 能 检 出 函数 值 在 采样 点 或 采样 区 间 之 
外 的 错误 。 总 之 , 测试 人 员 需 要 合理 地 质疑 测试 先知 的 有 效 性 , 并 通过 测试 反馈 来 调整 测试 先知 ， 
使 它 符 合 产品 特征 并 具有 较 强 的 错误 识别 能 力 。 


简 而 言 之 , 测试 先知 是 识别 缺陷 的 启发 式 方法 。 它 不 能 判断 软件 是 否 通过 测试 ， 只 能 判断 软 
件 在 测试 过 程 中 是 否 出 现 明显 的 失败 。 测 试 人 员 需 要 从 不 同 关 系 人 的 角度 , 设计 多 个 测试 先知 来 
考察 软件 的 行为 。 在 测试 过 程 中 , 他 还 需要 持续 关注 并 改进 测试 先知 的 有 效 性 。 唯 有 如 此 才能 避 
免 严 重 的 缺陷 遗漏 。 


5.3.2 FEW HICCUPPS 


FEW HICCUPPS 是 测试 专家 Michael Bolton 和 James Bach 提 出 的 识别 和 运用 测试 先知 的 想法 
列表 [Bolton05][Bolton12]。 他 们 建议 测试 人 员 使 用 以 下 启发 式 指导 词 来 检查 被 测 产品 : 


口 Familiarity ( 熟知 ) 

口 Explainability ( 可 说 明 性 ) 

口 World (世界 ) 

口 History ( 历史 ) 

口 Image( 远景 ) 

口 Comparable Products ( 可 对 比 的 产品 ) 
口 Claims( 声明 ) 

口 User’s Expectations ( 用 户 期 望 ) 
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O Product itself ( 产品 本 身 ) 
Q Purpose ( 意图 ) 
O Statutes and Standards ( 法 规 和 标准 ) 


指导 词 “ 熟 知 ” 建 议 测试 人 员 在 产品 中 搜索 他 熟悉 的 缺陷 模式 。 当 测试 人 员 刚 接触 一 个 新 产 
品 时 , 他 通常 会 利用 已 有 的 经 验 来 寻找 缺陷 。 在 测试 过 程 中 , 测试 先知 来 自 于 典型 的 缺陷 和 以 往 
的 经 验 。 例 如 , 测试 人 员 曾 经 使 用 极限 值 发 现 过 许多 软件 缺陷 ,于 是 他 在 新 产品 中 搜索 可 以 输入 
数值 的 控件 ， 然 后 尝试 用 最 大 值 、 最 小 值 、 零 等 极限 值 来 考验 软件 。 利 用 该 测试 策略 ， 他 可 以 快 
速 地 发 现 一 批 他 熟悉 的 缺陷 , 并 为 更 深入 的 测试 积累 知识 和 信心 。 不 过 , 该 测试 策略 可 能 让 测试 
人 员 在 很 长 一 段 时 间 内 只 关注 特定 类 型 的 缺陷 , 而 忽视 了 新 产品 特有 的 缺陷 。 人 总 是 愿意 做 自己 
擅长 的 事情 ,但 是 测试 要 求 测 试 人 员 较 全 面 地 掌握 系统 ， 并 探索 各 个 区 域 的 细节 。 所 以 ,测试 人 
员 需 要 交替 使 用 多 种 测试 策略 , 花 一 些 时 间 寻 找 熟知 的 缺陷 , 然后 运用 其 他 启发 式 指导 词 去 探索 。 


指导 词 “ 可 说 明 性 ”是 指 产品 应 该 容易 理解 ， 测 试 人 员 能 够 将 它 的 行为 向 他 人 解释 清楚 。 测 
试 人 员 可 以 时 常 反问 自己 : 我 可 以 将 这 部 分 功能 详细 地 解释 给 没有 经 验 的 用 户 吗 ? 他 会 认为 我 的 
解释 很 合理 吗 ? 这 样 反 思 有 两 个 好 处 。 


第 一 ， 它 让 测试 人 员 从 新 用 户 的 角度 考察 软件 的 功能 。 有 了 时， 测试 人 员 长 期 测试 一 款 产 品 ， 
对 产品 的 行为 习以为常 ,对 一 些 不 方便 的 设计 拥有 较 高 的 容忍 度 , 对 一 些 新 用 户 能 立即 发 现 的 问 
题 会 熟视无睹 。 强 迫 自 己 像 新 用 户 那样 思考 ,可 以 发 现 一 些 以 前 忽视 的 问题 。 此 外 ,他 还 可 以 邀 
请 其 他 领域 的 测试 同事 进行 结对 测试 。 在 结对 过 程 中 , 他 仔细 地 解释 软件 的 功能 ,结对 伙伴 则 不 
停 地 质疑 其 解释 的 合理 性 。 这 可 以 在 短 时 间 内 发 现 一 批 不 合理 的 设计 或 实现 缺陷 。 


第 二 ， 要 求 自己 明确 地 解释 软件 的 行为 ， 可 以 暴露 出 自身 知识 上 的 不 足 。 如 果 测 试 人 员 不 能 
清晰 地 解释 软件 的 行为 ， 他 应 该 感到 警惕 。 这 可 能 意味 着 他 不 了 解 业务 逻辑 ， 不 知晓 产品 设计 ， 
不 清楚 实现 细节 。 这 些 知识 上 的 漏洞 会 导致 薄弱 的 测试 设计 和 严重 的 缺陷 遗漏 。 不 过 ， 从 积极 的 
角度 来 看 ,困惑 是 一 种 测试 工具 区 aner01], 它 指引 测试 人 员 针对 他 不 能 解释 的 问题 进行 探索 。 通 
过 积极 地 学 习 和 测试 ,测试 人 员 不 但 可 以 弥补 知识 的 漏洞 ,还 可 以 发 现 隐藏 的 缺陷 。 此 外 ， 如 果 
产品 经 理 或 程序 员 不 能 清晰 地 解释 他 所 负责 的 功能 , 这 就 暗示 他 们 的 工作 可 能 存在 育 点 。 测 试 人 
员 可 以 利用 该 提示 去 仔细 测试 这 些 功 能 。 


指导 词 “ 世 界 ” 建 议 测试 人 员 用 现实 世界 的 常识 去 评估 软件 。 用 户 使 用 软件 去 完成 现实 世界 
的 任务 ， 自 然 期 望 其 行为 符合 一 般 期 望 或 常识 。 例 如 , 在 线 交 易 网 站 应 该 只 显示 用 户 信用 卡 的 后 
4 位 ， 以 避免 信用 卡 被 盗用 。 如 果 “客户 信息 ”页 面 展示 了 完整 的 信用 卡 卡号 ， 这 很 可 能 是 一 个 
缺陷 。 又 例如 ， 一 款 编辑 软件 要 保证 用 户 数据 的 安全 ， 它 要 么 自动 保存 文件 ,要 么 在 退出 时 提示 
用 户 保 存 被 修改 的 文件 。 如 果 编 辑 软件 在 某 个 情景 中 既 不 保存 文件 ,也 不 提示 用 户 保存 文件 ,就 
径 自 退出 ,那么 该 行为 会 导致 用 户 数据 的 丢失 ,是 一 个 严重 的 缺陷 。 可见 ， 常识 是 一 个 有 价值 的 
测试 先知 , 它 是 篇 幅 有 限 的 规格 说 明 在 复杂 世界 的 重要 补充 。 为 了 更 好 地 利用 该 测试 先知 ,测试 
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人 员 需 要 拓展 自己 的 知识 面 , 多 学 习 与 软件 和 业务 相关 的 知识 。 否则 ,他 会 因为 不 了 解 相 关 知 识 
或 秉持 错误 的 观念 而 错过 一 些 缺 陷 。 


指导 词 “ 历 史 ” 建 议 软件 的 功能 应 该 与 它 的 历史 行为 一 致 。 许 多 软件 发 行 过 多 个 版 本 ， 当 前 
版 本 的 功能 应 该 与 以 往 版 本 一 致 , 以 保证 用 户 的 数据 、 技 能、 经 验 持续 有 效 。 例 如 , Microsoft Word 
是 一 个 有 20 多 年 历史 的 软件 ， 耳 熟 能 详 的 版 本 包括 Word 95, Word 97, Word 2000, Word 2003、 
Word 2007, Word 2010, Word 2013 等 。 如 果 Word 2013 的 排版 结果 与 历史 版 本 有 重大 区 别 ， 那 么 
它 就 不 能 妥当 地 呈现 用 Word2007、Word2010 等 精心 编排 的 文档 。 这 是 千 千 万 万 的 Word 用 户 所 不 
能 接受 的 ， 是 很 严重 的 缺陷 。 又 例如 ，Microsoft Word 提 供 了 对 象 模型 ( 即 一 组 面向 对 象 风格 的 
API), 让 用 户 和 第 三 方 的 程序 员 可 以 编写 VBA 程 序 来 扩展 Word 的 功能 或 完成 自动 化 任务 。 通 常 ， 
新 版 本 的 Word 会 根据 功能 的 变化 来 修改 对 象 模 型 ， 但 是 其 核心 对 象 模型 非常 稳定 ， 能 保证 大 多 
数 既 有 VBA 程 序 可 以 正常 地 和 运行。 如果 核心 对 象 模型 的 行为 发 生 改 变 ， 那 么 用 户 的 VBA 程 序 就 
会 报错 ， 导 致 用 户 不 能 正常 工作 ， 所 以 这 是 一 个 严重 的 缺陷 。 


将 历史 版 本 作为 测试 先知 时 , 测试 人 员 要 注意 两 个 潜在 的 问题 。 第 一 , 历史 版 本 可 能 包含 错 
误 , 使 用 错误 的 测试 先知 可 能 掩盖 长 期 存在 的 缺陷 。 所 以 , 测试 人 员 要 始终 对 历史 版 本 抱 有 合理 
的 怀疑 ， 并 用 多 个 测试 先知 去 评判 软件 的 行为 。 如 果 发 现 一 个 存在 于 多 个 版 本 的 缺陷 , 他 应 该 很 
仔细 地 报告 这 个 缺陷 , 写 明 该 缺陷 可 能 在 哪些 历史 版 本 上 重 现 , 并 强调 修复 它 的 价值 。 因 为 许多 
开发 团队 倾向 于 不 修复 历史 版 本 可 复 现 的 缺陷 , 测试 人 员 要 充分 说 明 它 对 软件 价值 的 损害 ， 以 据 
理 力争 。 第 二 , 测试 人 员 可 能 被 历史 版 本 束缚 了 思路 ， 而 忽视 了 优化 设计 的 机 会 。 好 的 设计 既 利 
用 已 有 设计 的 资产 , 又 会 做 出 细节 或 整体 的 改进 , 而 许多 重大 成 功 往 往来 自 突破 性 的 设计 。 例如， 
Word 2007 放 弃 传 统 的 Windows 菜 单 界 面 ， 启 用 Ribbon 界 面 。 虽 然 一 些 用 户 抱怨 Word 变 得 陌生 ， 
但 是 更 多 的 用 户 开 始 拥抱 新 界面 。 然 后 ，Office 2010 的 所 有 程序 都 启用 了 Ribbon 界 面 。 在 新 界面 
的 帮助 下 ，Office 2010 的 销售 量 超 过 了 所 有 历史 版 本 。 这 说 明 测 试 人 员 应 该 关注 新 的 应 用 情景 
技术 趋势 ， 反 思 现 有 设计 ， 并 提出 有 建设 性 的 意见 。 


指导 词 “ 远 景 ” 要 求 软件 的 表现 符合 开发 团队 设 定 的 期 望 。 例 如 ，Google+ 的 开发 团队 对 产 
品 的 期 望 是 : 让 用 户 轻松 自如 地 在 社交 网 络 中 表达 自我 和 彼此 联系 ， 同 时 保护 他 的 隐私 。 因 此 ， 
他 们 决定 Google+ 的 核心 价值 是 : 社交 、 表 现 力 、 自 如 、 相 关 、 可 扩展 、 隐 私 (参见 3.2.2 节 )。 在 
如 此 远景 的 指导 下 ， 测 试 团 队 开发 出 一 些 具体 的 检查 规则 :“ 只 要 几 次 点 击 就 可 以 创建 并 加 入 群 
聊 ”““ 只 要 一 次 点 击 就 可 以 关闭 视频 和 音频 输入 “、“ 只 有 被 邀请 的 用 户 才 能 加 入 群 聊 ” 等。 以 远 
景 为 测试 先知 , 测试 人 员 可 以 将 精力 集中 在 产品 最 有 价值 的 属性 上 , 有 助 于 发 现 降低 产品 市 场 竞 
争 力 的 严重 缺陷 。 


指导 词 “ 可 对 比 的 产品 ”建议 测试 人 员 使 用 相似 产品 作为 测试 先知 来 评测 当前 产品 。 软 件 的 
功能 很 少 是 “举世 无 双 ” 的 ， 在 多 数 情况 下 ,已 有 其 他 产品 实现 了 相似 的 功能 。 通 过 对 比 相似 的 
产品 ， 测 试 人 员 可 以 较 快 地 发 现 被 测 产品 的 问题 。 例 如 ， 测 试 Microsoft Word 时 ， 就 可 以 考虑 以 
下 策略 。 
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口 比较 同一 产品 家 族 的 其 他 应 用 。 例 如 ， 测 试 Word 的 图 片 处 理 时 ， 可 以 对 比 Word Excel 
和 了 PowerPoint 的 相关 功能 , 因为 它们 拥有 几乎 相同 的 图 片 处 理 特 性 集 。 如果 在 Word 中 调整 
一 张 图 片 的 颜色 ， 发 现 了 可 疑 的 结果 ， 测 试 人 员 可 以 在 Excel 和 PowerPoint 对 同一 张 图 片 
实施 相同 的 操作 。 如 果 Excel 和 PowerPoint 的 结果 看 上 去 更 好 ， 那 么 可 以 推断 Word 存 在 
缺陷 。 

口 比较 彼此 竞争 的 产品 。 例如, 测试 Word 排 版 时 ,可 以 对 比 Word、MAC Word 和 OpenOffice 
的 排版 功能 。 让 这 些 软件 打开 同一 份 复杂 文档 ， 比 较 它 们 所 呈现 的 文档 内 容 。 如 果 Word 
的 排版 效果 不 如 其 他 软件 ， 测 试 人 员 需 要 提交 缺陷 报告 ， 并 附 上 评测 所 使 用 的 文档 和 排 
版 结果 截图 。 

口 比较 拥有 相似 功能 的 产品 。 例如 , 测试 Word 的 图 片 导 入 功能 时 , 可 以 对 比 Word 和 Windows 

画图 板 。 如 果 Word 不 能 导入 一 张 图 片 , 但 是 Windows 画 图 板 却 可 以 打开 该 图 片 , 那么 Word 
很 可 能 存在 缺陷 。 

口 比较 功能 简单 、 可 靠 性 高 的 产品 。 例 如 ， 测 试 Word 与 输入 法 的 兼容 性 时 ， 可 以 对 比 Word 
和 Windows 记 事 本 。 如 果 革 款 输入 法 在 Word 中 不 能 输入 ， 但 是 在 记事 本 中 正常 工作 ， 那 
么 可 以 推测 Word 存 在 缺陷 。 

O 比较 期 望 取代 的 产品 。 例 如 ,测试 Word 的 电子 墨水 功能 时 , 将 它 和 传统 的 纸 笔 进行 比较 。 
测试 人 员 可 以 调查 : 用 户 使 用 电子 笔 ， 能 在 Word 中 自如 地 书写 吗 ? 其 用 户 体验 能 够 到 达 
纸 笔 的 水 平 吗 ? 其 使 用 情景 与 纸 笔 相 比 有 何 优 劣 ? 

口 比较 公认 的 “专业 ”产品 。 测 试 Word 2013 的 “阅读 视图 ”时 ， 可 以 对 比 Word、Kindle for 
PC 和 Kindle for Windows 8。Kindle for PC 是 一 款 桌 面 软件 , 提供 了 丰富 的 电子 书 阅读 功能 。 
Kindle for Windows 8 是 一 款 Windows 8 应 用 ， 面 向 触 屏 提供 了 流畅 的 阅读 体验 。 通 过 对 比 
这 两 款 软 件 ， 测 试 人 员 可 以 评估 Word 的 阅读 视图 在 人 鼠标、 键盘、 触摸 等 操控 方式 下 的 表 
现 ， 并 分 析 该 功能 是 否 达到 了 典型 阅读 软件 的 水 平 。 


总 之 , 测试 人 员 可 以 根据 被 测 功 能 ,选择 一 批 “可 对 比 的 产品 ”进行 比较 。 好 的 参照 物 不 但 
可 以 提高 测试 效率 ， 还 能 够 增强 缺陷 报告 的 说 服 力 。 


指导 词 “ 声 明 ” 要 求 产 品 满足 项 目 文档 关于 其 功能 和 质量 的 论述 。 常 见 的 项 目 文档 包括 需求 
文档 、 规 格 说 明 、 用 户 手 册 、 广 告 文宣 、 营 销 资 料 等 。 在 项 目 过 程 中 , 许多 设计 决策 是 逐步 浮现 
的 。 例 如 , 测试 人 员 通 过 实际 使 用 产品 ， 发 现 了 一 个 设计 缺陷 。 为 了 修复 该 缺陷 , 产品 经 理 和 程 
序 员 经 过 讨论 ,对 产品 设计 进行 了 调整 。 随 着 此 类 设计 变更 的 累积 , 产品 可 能 不 再 满足 原 有 文档 
的 描述 ， 甚 至 背离 了 设计 初衷 。 对 此 ， 测 试 人 员 需 要 分 析 项 目 文 档 ， 抽 取出 它们 对 产品 的 声明 , 
用 作 测 试 先知 来 测试 软件 。 如 果 发 现 文档 和 产品 不 一 致 ， 他 可 以 提交 代码 缺陷 ,也 可 以 提交 文档 
缺陷 ， 要 求 修订 文档 。 诸 如 用 户 手 册 、 宣 传 资料 等 文档 是 最 终 产品 的 一 部 分 ， 要 认真 对 待 。 


指导 词 “用 户 期 望 ” 建 议 测试 人 员 站 在 用 户 的 角度 思考 , 以 检查 软件 是 否 真 正 地 为 用 户 服务 ， 
并 达到 了 他 们 的 期 望 。 通 常 ， 较 好 的 测试 方法 是 发 布 软件 的 早期 版 本 ,邀请 最 终 用 户 参 与 测试 ， 
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观察 他 们 遇 到 的 困难 ， 并 收集 他 们 的 反馈 意见 。 此 外 ,测试 小 组 还 可 以 研究 用 户 群体 ， 建立 几 个 
典型 用 户 角 色 , 来 代表 不 同年 龄 、 技 能 、 特 点 的 用 户 。 然 后 针对 用 户 角色 ， 设 计 和 若干 个 他 们 需要 
完成 的 常见 任务 ， 并 利用 这 批 任务 实施 情景 测试 ( 5.6 节 将 讨论 情景 测试 )。 在 测试 过 程 中 ,测试 
人 员 将 自己 当成 用 户 角 色 ， 以 该 角色 的 思维 方式 操作 软件 。 在 测试 间隙 ， 他 可 以 反思 测试 过 程 ， 
并 自问 : 软件 能 够 帮助 用 户 顺 利 完成 任务 么 ?” 哪些 地 方 使 用 起 来 很 不 方便 ”哪些 操作 很 难 完成 ? 
能 和 否 调整 软件 ， 使 用 户 可 以 更 方便 地 达成 目标 ? 


指导 词 “ 产 品 本 身 ” 要 求 产品 所 拥有 的 功能 和 使 用 模式 彼此 一 致 。 在 一 款 大 型 产品 中 , 一 组 
功能 是 由 多 人 设计 并 实现 的 。 如 果 设 计 者 之 间 的 理念 发 生 冲 突 而 他 们 又 缺乏 沟通 , 产品 的 功能 
间 就 存在 不 一 致 性 ,以 致 于 让 用 户 感到 困惑 。 一 个 很 知名 的 不 一 致 问题 是 快捷 键 CtrI+F 在 Microsoft 
Outlook 中 的 作用 。 在 阅读 邮件 时 , CtrltF 的 行为 不 是 大 多 数 人 期 望 的 字符 串 查 找 , 而 是 转发 邮件 。 
裔 偏 在 撰写 邮件 时 ，CtrltF 的 行为 义 变 回 字符 串 查 找 。 这 给 Outlook 的 用 户 带 来 了 许多 困扰 ， 他们 
很 难 预 测 Ctrl+rF 的 行为 ， 也 很 不 习惯 Ctrl+F 违 反常 识 的 举动 。 另 一 个 例子 是 如 图 $-2 所 示 的 
PowerPoint 2013 的 图 片 编辑 界面 ， 其 中 “图 片 样式 ”( 区域 A ) 的 图 标 风格 与 “图 片 效果 一 阴影 ” 
(区 域 B ) 的 图 标 风 格 不 一 致 。 实 际 上 ， 区 域 A 的 图 标 是 Office 2013 的 新 风格 ， 而 区 域 B 的 图 标 继 
承 自 Office 2010。 为 了 发 现 此 类 问题 ,测试 人 员 可 以 使 用 功能 漫游 去 游历 产品 的 多 个 功能 ， 或 运 
行 履 盖 多 个 功能 的 情景 测试 ， 以 发 现 潜在 的 不 一 致 性 。 


es 
~— poeg) -| BRIE 
a ax PEH aia | ~ | 人 外 图 月 效果 二 

预 设 (P 

六 图 片 样式 之 rise 

二 | AZO 


内 部 


图 5-2 ”不一致 的 PowerPoint 图 标 


指导 词 “意图 ”要 求 产 品 能 够 体察 并 服务 于 用 户 的 意图 。 例 如 ，OneNote for Windows 8 "是 
一 款 为 触 屏 优化 的 软件 ， 图 5-3 是 它 的 截图 。 其 中 ， 用 户 创 建 了 一 个 列表 ， 包 含 两 个 条 目 : Iteml 
和 Item2。 用 户 将 Item1 的 字体 调整 为 Verdana 和 13 磅 ， 然后 选中 Item2， 准备 进行 相同 的 字体 调整 。 
如 图 5-3 所 示 ，OneNote 认 为 用 户 会 重复 上 一 次 的 操作 ， 于 是 将 字体 的 默认 值 调整 为 13 磅 ， 用 户 只 
要 在 Font Size 上 轻 轻 一 点 ， 就 可 以 将 Item2 的 字体 尺寸 调整 为 13 磅 。 在 大 多 数 情况 下 ，OneNote 的 
这 个 行为 符合 用 户 的 “意图 ”， 是 一 项 贴心 的 设计 。 但 是 ， 此 时 点 击 ( 或 触摸 ) Font, OneNote 
却 没有 选中 上 次 使 用 的 Verdana， 而 是 选中 了 Item2 的 当前 字体 Calibri， 详 情 请 参考 图 5-4。 该 行为 
既 违反 了 测试 先知 “产品 本 身 ”， 也 违反 了 测试 先知 “意图 ”。 


D 本 书 所 测试 的 OneNote for Windows 8 的 版 本 是 15.0.4454.1006。 
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图 5-3 
Verdana 
List Cambria 
e ltem1 J 
. ltem2 Calibri 


Georgia 


More... 


图 $-4 OneNote for Windows 8 显示 Item2 的 当前 字体 


单纯 地 测试 软件 功能 ， 可 能 不 能 发 现 此 类 缺陷 ， 因 为 如 果 不 考 虑 使 用 情景 ， 诸 如 图 5-4 所 示 
的 行为 并 无 不 妥 。 测 试 人 员 应 该 用 软件 去 完成 一 项 有 意义 的 且 相 对 复杂 的 任务 , 在 真实 的 使 用 语 
境 中 推荐 软件 的 功能 是 否 符合 用 户 意图 。 例 如, 测试 人 员 可 以 用 OneNote 编 写 一 个 测试 小 组 的 “新 
人 入 职 指 南 ”"， 禾 盖 文字 编辑 、 相 片 处 理 、 图 表 制 作 、 列 表 编 排 、 页 面 布局 等 多 项 功能 ， 并 确保 
间 南 内容 丰富 、 排 版 美观 。 在 测试 过 程 中 , 测试 人 员 仔 细 观 察 并 分 析 产 品 的 行为 ， 可 以 发 现 一 些 
实际 用 户 很 在 意 的 细节 问题 。 


指导 词 “ 法 规 和 标准 ”建议 测试 人 员 研 究 产 品 相关 的 法 令 法 规 、 行 业 标准 、 合 同 约定 、 技 术 
标准 等 强制 性 规则 ， 用 它们 作为 测试 先知 来 指导 测试 设计 和 评估 。 例 如 ， 微软、 谷歌、 苹果 等 公 
司 为 各 自 的 操作 系统 开设 了 应 用 商店 ,鼓励 程序 员 向 其 提交 应 用 程序 ,并 给 予 销售 分 成 。 这 些 公 
司 都 发 布 了 应 用 开发 的 指导 文件 和 应 用 需要 满足 的 强制 性 规定 。 测 试 人 员 需 要 仔细 阅读 这 些 资 
料 ， 以 它们 为 测试 先知 来 检查 软件 。 许 多 案例 表明 ,一 些 看 似 无 碍 的 细节 实际 上 触犯 了 应 用 商店 
的 规则 ， 并 导致 应 用 无 法 通过 审查 ， 延 后 了 发 布 时 间 , 阻碍 了 业务 发 展 。 如 果 测 试 人 员 可 以 及 时 
发 现 并 报告 这 些 问 题 , 程序 员 就 能 及 时 修复 , 产品 也 能 顺利 上 架 销 售 。 为 了 构建 平滑 的 发 布 流程 ， 
依据 “法 规 和 标准 ”进行 测试 是 必 不 可 少 的 一 环 。 
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FEW HICCUPPS 本 质 上 是 基于 一 致 性 的 启发 式 测试 先知 。 测 试 人 员 利 用 一 组 启发 式 指导 词 ， 
设计 测试 并 检查 软件 在 特定 方面 的 一 致 性 。 综 合 使 用 它们 ， 可 以 从 不 同 角 度 考 察 产 品 ， 有 助 于 更 
全 面 的 思考 、 更 周详 的 测试 。 


5.3.3 ”约束 检查 


许多 软件 具有 复杂 的 计算 逻辑 ,测试 人 员 很 难 直 接 判断 其 计算 结果 是 否 正确 。 这 时 ,他 可 以 
根据 产品 的 业务 逻辑 和 实现 策略 , 提出 一 组 约束 规则 ,用 相对 简单 的 规则 去 发 现 复杂 计算 的 错误 。 
虽然 约束 规则 可 能 会 错过 一 些 缺陷 , 但 是 它们 可 以 用 较 少 的 资源 测试 复杂 的 产品 , 在 测试 实践 中 
拥有 重要 作用 。 


测试 专家 Harry Robinson 曾 经 在 谷歌 公司 测试 谷歌 地 图 的 驾车 导航 功能 [Robinson10]。 ae 
检查 谷歌 地 图 是 否 正 确 地 给 出 了 从 地 点 A 到 地 点 B 的 导航 路 线 。 这 是 一 项 有 挑战 的 测试 任务 。 
= 谷歌 地 图 拥有 海量 的 用 户 ， 他 们 有 不 同 的 出 发 地 (地 点 A ) 和 目的 地 (地 点 B )， ae 
om “典型 ”的 测试 输入 集合 。 第 二 ， 导 航 问 题 在 现实 世界 并 不 存在 “标准 答案 ”或 “最 优 解 ”， 
同 的 导航 路 线 可 角 E 都 满足 用 户 的 要 求 , 因此 测试 人 员 很 难 断言 某 条 路 线 一 定 错误 或 一 定 正 
， 导 航 算法 是 考虑 多 个 因素 的 人 工 智能 算法 ,实现 复杂 度 很 高 ， 因 此 重新 开发 一 套 导 航 
ALOR I 试 先知 即便 是 可 行 的， 也 会 耗费 大 量 的 测试 时 间 ， 给 项 目 开 发 带 来 风险 。 


Robinson 的 策略 是 构建 一 个 约束 规则 集 ， 让 测试 程序 利用 这 套 规则 去 检查 海量 的 地 址 组 合 。 
该 测试 程序 的 算法 如 代码 清单 5-1 所 示 。 其 输入 是 美国 所 有 邮政 编码 的 配对 ， 大 约 有 10 亿 个 输入 ， 
覆盖 了 大 多 数 美国 用 户 的 情况 。 测 试 代码 调用 谷歌 地 图 ， 获 得 每 对 邮政 编码 的 导航 路 线 集合 ， 然 
后 用 规则 集 对 导航 路 线 进行 检查 。 如 有 果 规 则 检查 发 现 了 一 个 失败 的 案例 , 程序 会 将 失败 的 详细 情 
况 报告 给 Harry， 请 他 做 进一步 的 分 析 。 


代码 清单 5-1 测试 地 图 导航 的 算法 
for pair of address in all pairs of american zip code: 
directions = call Google map for direction(pair of address) 
for rule in direction constraint rules: 
result = rule.call_Google_map_and_check(directions) 
if result. failed: 
result.report_to_tester() 

这 是 一 个 相对 简单 的 测试 程序 ，Harry 用 很 短 的 时 间 就 完成 了 开发 。 于 是 ， 工 作 重 点 就 变 成 
设计 约束 规则 。 开 始 时 ， 他 设计 了 一 条 规则 :“ 从 A 到 B 的 导航 路 线 的 长 度 与 从 A 到 B 的 直线 距离 
没有 显著 差别 。” 不幸 的 是 ， 测 j 试 程序 在 使 用 这 条 规则 时 产生 了 许多 “ 误 报 ”。 因 为 ， 受 到 河流 、 
湖泊 、 山 脉 、 公 园 等 对 象 的 阻隔 ， 两 地 之 间 的 导航 距离 很 可 能 远 远大 于 其 直线 距离 。 


于 是 ，Harry 将 规则 替换 为 :“ 从 A 到 B 的 导航 路 线 的 长 度 与 从 B 到 A 的 导航 路 线 的 长 度 没有 显 
车 差别 。” 该 规则 可 以 看 作 指 导 词 “产品 本 身 ” 的 一 个 应 用 ， 它 对 比 谷 歌 地 图 的 两 个 输出 来 检查 
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功能 的 一 致 性 。 在 实际 测试 中 ,该 规则 的 误 报 率 较 低 ， 且 发 现 了 一 些 有 趣 的 错误 。 图 5-5 是 当时 
Harry 发 现 的 一 个 错误 ， 它 显示 了 两 条 出 发 地 和 目的 地 对 调 的 导航 路 线 , 左下 方 的 路 线 比较 合理 ， 
而 右上 方 的 路 线 则 明显 有 误 。 


nd A= 
an [ma | Satelite 
ed | Oh 


End address: Long Beach, CA 90813 
Distance: 180 mi (about 3 hours 3 mins) 


Start address: Long Beach, CA 90813 


End address: CA 92564 
Distance: 75.1 mi (about 1 hour 21 mins) is 


图 5$-5 ”谷歌 地 图 给 出 了 不 一 致 的 导航 路 线 
分 析 Harry 的 测试 策略 ， 可 以 总 结 出 一 些 实施 约束 检查 的 经 验 。 
口 用 简单 的 程序 去 测试 复杂 的 产品 。 简 单 的 测试 程序 更 容易 开发 ， 能 够 快速 投入 测试 ， 且 


可 以 随 着 产品 发 展 随时 调整 。 

口 用 海量 的 数据 和 启发 式 规则 去 发 现 失败 案例 ， 让 测试 人 员 做 进一步 调查 。 

口 测试 人 员 用 较 少 的 时 间 构 造 测试 程序 ， 用 较 多 的 时 间 设 计 约 束 规则 ， 分析 失 败 案例 ， 改 
进 约 束 规则 。 

口 测试 先知 的 构造 不 是 一 跳 而 就 的 。 在 测试 迭代 中 ,测试 人 员 需 要 根据 测试 反馈 ,修改 、 
替换 、 增 加 约束 规则 ， 以 逐步 完善 测试 先知 。 

口 当 约 束 规 则 集 不 能 发 现 失败 案例 时 ， 测 试 人 员 要 考虑 增加 新 的 规则 。 例 如 ， 他 可 以 尝试 
新 规则 :“ 从 地 点 A 到 地 点 B 的 路 线 上 选择 一 个 点 C, 调用 地 图 获得 A 到 C 的 导航 路 线 和 C 到 
B 的 导航 路 线 。A 到 C 的 路 线 长 度 加 上 C 到 B 的 路 线 长 度 应 该 约 等 于 A 到 B 的 路 线 长 度 。” 


软件 产品 是 多 种 多 样 的 , 测试 人 员 可 以 从 多 个 角度 设计 约束 规则 。 以 下 是 一 些 典 型 的 测试 设 
计策 略 。 
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策略 1: 基于 “数学 性 质 ” 的 约束 规则 利用 数学 知识 构造 检查 规则 


假设 , 测试 人 员 需 要 测试 数学 函数 double System.Math.Sin(double x), 但 他 暂时 没有 参考 程序 
或 其 他 测试 先知 。 为 了 快速 地 发 现 严 重 的 缺陷 ， 他 可 以 考虑 以 下 约束 规则 ， 做 一 些 快速 的 测试 。 


口 在 数学 上 ，sin(x) 对 于 一 些 输入 值 有 非常 明确 的 结果 ， 例 如 : sin(0) = 0，sin(0.5 xm = 1， 
sin(m) = 0，sin(1.5 xn) = -1，sin(2 xm) = 0。 测试 人 员 用 这 些 输 入 值 测试 函数 ， 检 查 返 回 
值 应 该 等 于 或 非常 接近 目标 值 。 

O 在 数学 上 ，sin(x) 在 区 间 [0, zd] 中 单调 上 升 。 测 试 人 员 可 以 在 此 区 间 取 一 些 点 ,检查 相应 的 

计算 结果 符合 单调 上 升 的 特性 。 

口 在 区 间 [0, 2 x 可 中 均匀 地 取 200 个 点 ， 调 用 被 测 函数 获得 相应 的 函数 值 ， 然 后 用 软件 绘制 
出 函数 值 的 变化 曲线 , 考察 该 曲线 是 否 符合 sin(x) 的 基本 特征 。 图 5-6 是 我 用 Microsoft Excel 
绘制 的 函数 System.Math.Sin 的 散 点 图 ， 因 为 取 值 点 很 密集 ， 所 以 函数 值 连 成 了 一 条 有 曲线。 
虽然 不 能 精确 判断 ， 但 看 得 出 该 曲线 符合 sinCo) 的 基本 特性 。 


图 5-6 double sin(double x) 的 变化 曲线 


虽然 以 上 规则 不 能 保证 被 测 函数 一 定 正 确 , 但 是 它们 可 以 快速 地 发 现 明显 的 问题 , 用 很 少 的 
时 间 获 得 基本 的 质量 信息 。 基 于 测试 结果 ， 测 试 人 员 可 以 更 好 地 设计 下 一 步 的 测试 。 


策略 2: 基于 “统计 特性 ”的 约束 规则 利用 被 测 对 象 的 统计 特性 构造 检查 规则 


例如 ， 测试 人 员 要 测试 函数 double System.Random.SampleO 能 够 随机 地 返回 0.0 和 1.0 之 间 的 
数 ， 他 可 以 考虑 如 下 约束 规则 。 


口 首先 ， 随 机 数 应 该 均匀 的 分 散在 区 间 (0.0, 1.0) 中 。 测 试 人 员 可 以 调用 System.Random. 
Sample0 一 万 次 ， 然 后 统计 落 入 (0.0, 0.1], (0.1, 0.2], (0.2, 0.3], …, (0.9, 1.0) 这 10 个 区 间 的 随 
机 数 的 个 数 ， 这 也 检查 了 被 测 函数 并 没有 返回 区 间 (0.0, 1.0) 之 外 的 数值 。 他 可 以 绘制 出 类 
似 于 岁 5$-7 的 随机 数 分 布 图 , 来 检查 其 分 布 是 否 均匀 。 在 图 $-7 中 ，10 万 个 随机 数 大 致 均匀 
地 分 布 在 10 个 区 间 中 。 

口 其 次 ， 随 机 数 的 生成 应 该 没有 明显 的 规律 ， 即 不 能 利用 以 往生 成 的 随机 数 来 预测 下 一 个 
随机 数 。 测 试 人 员 可 以 多 次 调用 被 测 函 数 ， 绘 制 出 类 似 于 图 $-8 的 随机 数 散 点 图 ， 来 检查 
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该 规则 。 在 图 5-8 中 ， 随 机 数 的 数值 与 函数 调用 次 数 、 之 前 的 随机 数 、 之 后 的 随机 数 没有 
明显 的 关系 。 


0.9-1, 962, 10% 0-0.1, 988, 10% 


0.8-0.9, 1028, 10% 0.1-0.2, 989, 10% 


0.7-0.8, 980, 10% 0.2-0.3, 1002, 10% 


0.6-0.7, 1037, 10% 0.3-0.4, 988, 10% 


0.5-0.6, 1009, 10% 0.4-0.5, 1017, 10% 


图 5-7 ”随机 数 在 10 个 区 间 的 分 布 
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图 $-8 ”随机 数 的 散 点 图 


测试 人 员 还 可 以 用 更 严格 的 规则 来 测试 随机 数 函 数 。 对 于 随机 性 要 求 不 高 的 领域 ， 图 5-7 和 
图 5-8 的 测试 结果 表明 随机 数 函 数 并 没有 明显 的 问题 。 


策略 3: 基于 “格式 ”的 约束 规则 检查 数据 符合 特定 的 格式 


现实 世界 的 许多 数据 ( 如 电话 号 码 、 邮 政 编码 、 日 期 、 电 邮 地 址 、 了 地址、 文件 格式 等 ) 都 
拥有 明确 格式 要 求 。 测 试 人 员 可 以 参考 这 些 格 式 ， 设 计 约 束 规 则 去 检查 软件 产生 的 数据 。 例 如 ， 
Windows 事 件 查看 器 显示 了 操作 系统 记录 的 事件 和 事件 发 生 的 时 间 。 假设 当前 系统 的 地 区 设置 是 
“美国 ”, 那么 它 显 示 的 时 间 字 符 串 的 格式 应 该 类 似 于 “12/21/2012”。 如 果 它 显示 的 时 间 字 符 串 是 
欧洲 格式 , 类 似 于 “21/12/2012”, 那么 其 日 期 格式 化 功能 存在 缺陷 。 再 例如 , 许多 程序 会 生成 docx 
格式 的 Word 文 档 , 以 实现 办 公 自 动 化 。 测 试 文档 正确 性 的 第 一 步 是 验证 其 格式 。docx 格 式 本 质 是 
一 个 压缩 文件 , 包含 了 一 批 XML 文 档 和 数据 文件 ,微软 提供 的 Open XML SDK" 可 以 检查 一 个 docx 


O http://www.microsoft.com/en-gb/download/details.aspx?id=30425, 
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文件 是 否 被 正确 压缩 ， 其 包含 的 XML 文档 是 否 符合 正确 的 XML 架构 。 于 是 ， 测 试 人 员 可 以 编写 
一 个 测试 程序 ， 调 用 Open XML SDK 来 检查 所 生成 文档 的 格式 。 


策略 4: 基于 “业务 知识 ”的 约束 规则 使 用 领域 知识 来 设计 检查 规则 


例如 ，Harry Robinson 根 据 路 线 导 航 的 常识 ， 提 出 了 一 组 规则 来 检查 谷歌 地 图 的 导航 结果 。 
又 例如 ,我 曾经 测试 过 一 个 订单 处 理 系统 ， 其 输入 是 一 组 数量 庞大 的 订单 ， 每 个 订单 有 独立 的 
编号 ， 其 字段 也 有 独立 的 编号 。 系 统 分 析 每 个 订单 的 字段 ， 给 出 相应 的 计算 结果 ， 该 结果 包含 
原 订单 号 或 字段 号 。 根 据 系 统 的 业务 需求 ， 我 提出 了 “编号 守恒 定律 "， 即 所 有 输入 的 订单 号 
和 字段 号 应 该 出 现在 输出 结果 中 ， 且 输出 结果 包含 的 编号 必须 存在 于 输入 数据 中 。 我 用 代码 实 
现 了 该 约束 规则 ( 和 其 他 一 批 规 则 ) 的 自动 检查 ,将 其 作为 自动 化 系统 测试 的 测试 先知 。 在 每 
天 执行 的 自动 化 测试 中 ,这 批 规 则 发 现 了 许多 现 因为 代码 改动 而 引发 的 错误 ， 取 得 了 预期 的 检 
测 效果 。 


总 而 言 之 , 测试 先知 的 类 型 是 多 种 多 样 的 ,每 种 类 型 都 有 自己 的 优点 和 不 足 。 测试 人 员 需 要 
透彻 地 理解 测试 先知 的 理论 和 方法 ， 知 晓 它 能 发 现 哪些 类 型 的 错误 、 不 能 发 现 哪些 类 型 的 错误 。 
然后 , 从 不 同 关 系 人 的 角度 , 使 用 多 个 测试 先知 去 检查 软件 的 行为 , 让 它们 互 为 补充 、 彼 此 增强 。 
因为 测试 先知 可 能 存在 缺漏 , 他 应 该 在 测试 闪 代 中 持续 评 佑 测试 先知 的 有 效 性 , 通过 完善 并 补充 
测试 先知 ， 来 稳步 提高 测试 检查 的 广度 和 深度 。 
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漫游 测试 是 在 特定 主题 指导 下 对 产品 进行 探索 的 一 组 测试 方法 。 不 同 的 漫游 测试 方法 有 不 同 
的 主题 ,侧重 于 探索 产品 的 不 同方 面 ,其 共同 的 特征 是 测试 人 员 会 游历 产品 空间 ， 以 尽力 覆盖 某 
类 对 象 或 发 现 某 类 错误 。 


通常 ， 漫 游 测试 的 名 字 会 反映 其 主题 ， 一 般 表现 为 待 测 对 象 、 测 试 策略 或 测试 隐喻 。 例 如 ， 
功能 漫游 建议 测试 人 员 去 探索 一 组 相关 的 功能 ; 用 户 漫游 建议 测试 人 员 从 用 户 的 角度 考察 产品 功 
fe; 出 租车 漫游 以 “出 租车 ”作为 隐喻 , 建议 测试 人 员 从 不 同 的 途径 访问 同一 个 功能 。 在 主题 的 
间 引 下 ， 测 试 人 员 产 生 一 组 测试 想法 ， 并 在 探索 的 过 程 中 产生 更 多 的 想法 。 因 此 ，Cem Kaner 认 
为 漫游 测试 是 一 种 结构 化 的 头脑 风暴 方法 区 anerl1]。 


漫游 测试 的 重心 是 探索 ， 而 探索 的 核心 价值 之 一 是 学 习 。 在 探索 过 程 中 , 测试 人 员 不 但 可 以 
发 现 缺陷 , 还 可 以 深入 学 习 软 件 的 业务 规则 和 实现 细节 ， 从 而 提出 更 高 效 的 测试 策略 。 一 些 有 经 
验 的 测试 人 员 会 在 拟定 详细 测试 计划 之 前 ,安排 几 个 漫游 测试 的 测 程 , 收集 测试 计划 需要 的 信息 。 
这 几 次 漫游 测试 的 重点 不 是 发 据 缺 陷 ， 而 是 从 测试 的 角度 研究 软件 ， 其 主要 产 出 不 是 缺陷 报告 ， 
而 是 一 组 测试 文 持 材 料 , 包括 软件 的 功能 列表 、 风 险 列 表 、 测 试想 法 列表 、 需 要 有 覆盖 的 测试 目标 
等 。 基 于 这 些 信息 ， 测 试 人 员 可 以 更 好 地 规划 测试 ， 选 择 有 针对 性 的 测试 技术 。 
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第 5 章 测试 技术 
5.4.1 基本 漫游 方法 


自 1990 年 以 来 ，James Bach, Elisabeth Hendrickson, Michael Kelly 等 提出 了 一 批 具 体 的 漫游 


测试 方法 [Kaner11][Bolton09b][Kelly05b]。 基 本 上 ， 这 是 一 组 基于 覆盖 的 测试 技术 ， 其 测试 过 在 
需要 覆盖 一 组 预定 的 测试 目标 。 表 5-1 总 结 


方法 名 


覆盖 对 象 


表 5-1 


H 


这 组 方法 的 特征 。 


典型 的 漫游 测试 方法 


测试 手段 


功能 漫游 


软件 的 功能 


功能 漫游 发 现 软件 的 
支 ) 。 在 测试 之 初 ， 
表 的 主干 。 在 测试 特 
详细 地 覆盖 一 个 功能 


功能 区 域 ( 功能 列表 的 主干 ) 和 细节 功能 ( 功能 列表 的 分 


测试 人 员 通 过 功能 漫游 了 解 软件 的 整体 情况 ， 建 立功 能 列 


定 功 能 时 ,测试 人 员 用 功能 漫游 描绘 出 功能 列表 的 分 支 ， 
的 细节 (以 及 与 它 协 作 的 其 他 功能 


漫游 


菜单 和 窗 


菜单 和 窗口 


菜单 和 窗 


漫游 是 一 种 特殊 的 功能 漫游 ， 旨 在 发 现 所 有 的 菜单 ( 


包含 右键 点 击 


所 触发 的 菜单 ) 、 菜 
面 控件 


单项 、 窗 口 (包含 对 话 框 ) 、 工 具 条 、 命 令 图 标 和 其 他 界 


鼠标 和 键盘 漫游 


鼠标 和 键盘 可 以 
触发 的 功能 


鼠标 和 键盘 漫游 是 一 种 特殊 的 功能 漫游 ， 旨 在 发 现 所 有 鼠标 和 键盘 可 以 触发 的 


功能 。 测 试 人 员 需 要 


Shift、Ctrl、Alt 等 。 
以 探索 在 左 键 拖 忠 时 


尝试 左 键 点 击 、 左 键 拖 忠 、 右 键 点 击 、 右 键 拖 忠 、 中 键 点 
击 、 滚 轮 滚动 等 鼠标 操作 ， 并 尝试 各 种 键盘 命令 ， 包 含 F1~F12 功 能 键 、Esc、 


外， 测试 人 员 还 需要 窗 盖 鼠标 与 键盘 的 协作 ， 例 如 他 可 
， 按 下 Esc 键 会 发 生 什么 


业务 漫游 


软件 的 业务 


业务 是 软件 需要 完成 
游 需 要 覆盖 软件 支持 


的 一 项 完整 的 任务 , 通常 会 涉及 多 个 具体 的 功能 。 业 务 漫 
的 所 有 业务 


错误 消息 漫游 


错误 消息 漫游 覆盖 软 
人 码 ， 来 获得 需要 覆盖 


报告 的 错误 ， 然 后 尽力 去 创 


伯 所 有 的 错误 消息 。 测 坛 人 员 可 以 询问 程序 员 或 扫描 源 代 
的 错误 消息 。 此 外 ,测试 人 员 还 可 以 列 出 他 认为 软件 可 能 
发 。 该 漫游 旨 在 发 掘 软件 可 能 遇 到 的 异常 情况 ， 从 


而 发 现 软件 在 异常 处 


里 方面 的 缺陷 。 这 说 明 ， 虽然 许多 漫游 测试 是 基于 覆盖 的 


测试 技术 ,它们 也 关注 着 软件 的 风险 ( 即 可 能 存在 的 错误 ) ， 并 通过 测试 覆盖 


变量 漫游 


软件 的 变量 


变量 漫游 发 现 软件 输 


入 和 输出 的 变量 。 关 于 变量 的 更 多 讨论 请 参考 4.2.2 节 


软件 的 数据 元 素 


数据 漫游 发 现 软件 的 


数据 元 素 (HTSM 一 产品 元 素 一 数据 元 素 ) ， 即 软件 所 接 


纳 、 处 理 、 产 生 的 数据 


采样 数据 漫游 


数据 的 数据 元 素 


在 了 解 了 软件 的 数据 元 素 后 , 测试 人 员 选 择 一 些 复杂 的 、 极 端的 数据 去 测试 软件 


文件 漫游 


软件 所 使 用 的 
文件 


文件 漫游 发 现 软件 所 使 
配置 文件 Cini) 、 数 


] 的 文件 , 包括 可 执行 文件 ( .exe ) 、 动 态 链接 库 ( .dll ) 、 
居 文 件 ( .dat ) 、 帮 助 文件 (hlp ) 等 


结构 漫游 


软件 的 结构 元 素 


结构 漫游 发 现 软件 的 
的 实体 ， 包 括 代码 、 


结构 元 素 (HTSM 一 产品 元 素 一 结构 元 素 ) ， 即 构成 软件 
数据 、 接 口 、 文 档 、 硬 件 、 相 关 网 络 服务 等 


操作 模式 漫游 


软件 的 状态 


操作 模式 漫游 发 现 所 


有 影响 软件 行为 的 操作 模式 , 这 通常 意味 着 建立 软件 的 状 


态 机 模型 。 关 于 状态 机 的 更 多 讨论 请 参考 4.2.5 节 


序列 漫游 


软件 的 操作 序列 


序列 漫游 覆盖 软件 的 操作 序列 ， 这 通常 意味 着 覆盖 状态 机 的 多 条 路 径 ， 每 条 路 


径 都 覆盖 多 个 状态 和 


变迁 
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( 续 ) 
方法 名 TENS 测试 手段 
ang 声明 误 游 发 现 项 目 关系 人 对 软件 的 所 有 声明 - IBRD BE BERTIE 
声明 漫游 ( 用户 手册 、 帮 助 文件 、 使 用 教程 、 广 告 文宣 等 ) 和 隐 趟 的 规格 说 明 ( 关系 人 的 
j 邮件 、 口 头 表态 、 会 议 纪要 等 ) 。 该 漫游 有 助 于 建立 一 致 性 测试 先知 “声明 " 
a PREACH EP, ER, AEREE, 测试 
4 区 件 的 用 户 文档 
软件 的 用 户 文 位 。 人 员 依据 用 户 文档 的 指示 来 操作 软件 ， 并 记录 软件 与 文档 的 不 一 致 之 处 
价值 漫游 发 现 软件 为 用 户 提 供 的 最 有 价值 的 功能 ， 从 而 理解 软件 的 目标 和 项 目 
YE “he AH- the Ad. 
价值 漫游 KAME 。 团队 的 使 命 。 该 温 游 有 助 于 建立 -一致 性 测试 先知 “远景 
市 场 处 境 漫游 发 现 软件 的 目标 市 场 的 重要 元 素 ， 包括 竞争 产品 、 竞 争 产品 的 特 
市 场 处 境 漫游 。 市 场 处 境 点 和 优势 、 产 品 用 户 、 用 户 购买 时 所 考虑 的 因素 等 。 该 漫游 有 助 于 建立 一 致 性 
测试 先知 “可 对 比 的 产品 ” 
| 户 漫游 得 莱 典型 的 用 户 情景 。 测 试 人 员 建立 几 个 典型 的 用 户 角色 ， 分 析 他 们 
| 户 漫游 典型 的 用 户 情景 。 的 期 望 和 使 用 模 武 ， 确 定 岗 型 的 用 户 情景 和 任务 ， 并 予以 测试 。 该 温 游 有 助 于 
建立 一 致 性 测试 先知 “用 户 期 望 ”。5.6 将 介绍 情景 测试 
配置 漫游 软件 的 配置 。 ”配置 漫游 发 现 影响 产品 行为 的 软件 设置 、 操 作 系 统 设置 、 硬 件 设置 等 配置 信息 
maaan, 。 5 软 件 协作 的 其 互 操作 漫游 发现 与 软件 一 起 协同 工作 的 程序 和 服务 ， 以 及 软件 与 它们 协作 所 使 
tise 他 程序 ] 的 接口 和 协议 
莱 容 性 漫游 害 盖 软件 的 运行 平台 ,包括 计 算 平台 、 操 作 系 统 、 硬 件 设备 等 对 
于 一 些 手机 应 用 ， 它 支持 数 十 种 手机 型 号 ， 做 完全 的 兼容 性 漫游 是 不 现实 的 。 
兼容 性 漫游 ”软件 的 运行 平台 。 测试 人 员 需 要 拟定 一 个 设备 选择 方案 ， 用 手机 的 市 场 占有 率 、 影 响 、 用 户 特点 


等 因素 来 选择 少数 手机 进行 测试 。 制 定 该 选择 方案 的 过 程 也 是 了 解 目标 市 场 和 
产品 价值 的 学 习 过 程 
支持 测试 的 软件 可 测试 性 漫游 发 现 软件 中 支持 测试 的 功能 , 例如 日 志文 件 记录 了 软件 的 运行 情 
可 测试 性 漫游 上 ` 况 、 软 件 的 编程 接口 提供 了 它 的 内 部 状态 等 。 该 漫游 还 可 以 发 现 软件 在 可 测试 
性 上 的 不 足 ， 并 提出 一 组 测试 人 员 希 望 软件 提供 的 测试 辅助 功能 
风险 识别 漫游 产生 软件 的 风险 列表 。 测试 人 员 可 以 分 析 软 件 的 各 个 部 分 ,想象 
它 可 能 遭遇 的 失败 ， 以 列 出 一 组 软件 面临 的 风险 。 测试 人 员 还 可 以 漫游 产品 的 
功能 ， 并 沿路 思考 : “此 处 ， 软 件 可 能 发 生 什么 错误 ? 它 可 能 遇 到 什么 异常 情 
况 ?””， 以 获得 一 组 潜在 风险 
极限 值 漫 游 是 一 种 特殊 的 风险 识别 漫游 , 它 通 过 输入 极限 值 或 制造 软件 的 极限 
极限 值 漫游 软件 的 极限 值 状态 来 发 现 软 件 的 错误 。 常 见 的 极限 值 包括 零 、 最 小 值 、 最 大 值 、 空 值 NULL. 
人 负 值 ( 当 软 件 期 望 用 户 输入 正 数 时 ) 、 不 正确 的 数据 格式 等 
复杂 性 漫游 覆盖 高 度 复 杂 的 用 户 情景 , 这 些 情景 往往 拥有 漫长 的 操作 序列 、 大 
复杂 性 漫游 软件 的 复杂 情景 ” 量 的 用 户 输入 、 繁 复 的 功能 组 合 。 该 漫游 有 助 于 发 现 软件 在 处 理 复杂 情况 时 暴 
露 的 不 足 和 缺陷 


= 


风险 识别 漫游 软件 的 风险 


5.4.2 ”基于 旅行 者 隐喻 的 漫游 方法 


测试 专家 James Whittaker 基 于 系统 化 错误 猜测 ， 以 “旅行 者 ”为 核心 隐喻 ， 提 出 了 一 组 测试 
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方法 [Whittaker09]。 他 的 方法 往往 关注 特定 的 风险 和 缺陷 ,是 一 组 基于 风险 的 测试 技术 。 表 5-2 
归纳 了 这 组 方法 的 要 点 ， 并 用 阴影 隔 出 了 相关 的 测试 方法 。 


表 5-2 James Whittaker 的 漫游 测试 方法 


方法 名 隐 R 测试 手段 
ee 旅行 者 遵循 旅游 手册 来 漫游 ”测试 人 员 遵 循 用 户 手册 的 操作 指令 来 使 用 软件 ,该 漫游 有 助 于 发 现 
pas 景点 手册 与 软件 的 不 一 致 性 
ce A 、 ”测试 人 员 利用 第 三 方 博客 、 用 户 论坛 等 资源 来 收集 用 户 反馈 , 根据 
一 些 旅行 者 会 写 博客 来 点 评 EDT 
博客 漫游 on Fis Poe ee ie 
城市 或 景点 SERTI 
测试 软件 
eye 一 些 旅 行者 会 以 专家 的 身份 ”测试 人 员 收 集 批评 者 的 意见 , 根据 他 们 的 负面 评论 来 测试 软件 。 这 
nes 批评 景点 ， 指 出 其 不 足 有 助 于 发 现 不 良 设 计 对 软件 价值 的 损害 
测试 人 员 从 论坛 、 博客、 新 闻 、 专 栏 等 处 收集 用 户 对 竞争 产品 的 


参考 旅行 者 对 其 他 景点 的 评 
元 争 者 漫游 论 来 改进 当前 城市 的 旅游 


看 
法 和 建议 。 利 用 这 些 信息 设计 测试 情景 。 这 有 助 于 评估 当前 产品 是 
和 否 满足 用 户 需求 ,并 发 现 设计 的 不 足 之 处 一 一 这 些 问 题 会 阻 得 用户 


i 从 竞争 产品 迁移 到 当前 产品 
MEE CU ee, emo 
卖点 漫游 i aii 点 强调 的 特性 ,该 漫游 与 之 前 介绍 的 价值 漫游 都 有 助 于 分 析 软件 的 
~ 核心 价值 是 否 存 在 风险 
旅行 者 在 地 图 上 标注 地 标 ， ”测试 人 员 选 择 组 相关 的 功能 ， 依 次 测试 ， 直 到 测试 了 所 有 功能 。 
地 标 漫游 然后 从 一 个 地 标 走 到 另 一 个 ”该 漫游 与 功能 漫游 相似 ,都 可 以 探索 并 学 习 软件 的 功能 , 用 一 组 地 
地 标 ， 直 至 到 达 目 的 地 标 (功能 列表 的 主干 ) 产生 详细 的 地 图 ( 功能 列表 的 分 支 ) 
旅行 者 在 一 处 景点 关门 后 才 ”该 漫游 探测 软件 的 “地 形 ”， 其 主要 目标 是 发 现 所 有 功能 的 和 人口 (而 
停车 场 漫游 ” 。 到 达 ， 只 好 在 停车 场 打转 ， 向 覆盖 ) 和 有 可 能 发 生 的 问题 (面向 风险 ) ,次 要 目标 是 确定 具体 
并 导 找 另 一 处 可 玩 的 景点 。 的 漫游 方法 可 以 应 用 的 地 方 ,幸运 目标 是 发 现 一 些 极端 严重 的 缺陷 
测试 人 员 运 用 业务 和 技术 知识 向 软件 提出 极 具 挑战 的 问题 ， 例 如 ; 


知识 分 了 漫游“ ”有些 旅行 者 拥有 丰富 的 知 “软件 能 处 理 的 最 大 流量 是 多 少 ?哪些 操作 会 索取 最 多 的 内 存 ?“ 
ee 识 ， 其 见识 超过 了 导游 成 功 运用 该 漫游 的 前 提 是 测试 人 员 深 刻 地 理解 业务 、 设 计 和 实现 ， 
并 可 以 设计 出 有 挑战 性 的 测试 用 个 
测试 人 员 在 测试 软件 时 , 以 找茬 的 心态 去 挑战 软件 。 他 提出 各 种 问 
__. PE HEF 4 Ls 
or ee 题 去 质疑 软件 ,例如 : “如 果 我 这 么 做 ,会 如 何如 果 我 偏 不 这 人 么 
inate 做 , 又 如 何 ? 如 果 我 不 想 这 么 做 , 有 什么 替代 方案 》 ”该 漫游 有 助 
pe 于 发 现 程序 员 设计 的 不 足 和 软件 逻辑 的 漏洞 
ae 测试 人 员 用 一 些 不 合 “ 正 常 ”逻辑 的 情景 来 测试 软件 。 例 如 ， 测 试 
i 行者 给 人 的 日 
做 慢 美 佬 漫游 ene aes 在 线 交易 网 站 , 提交 订单 并 支付 后 ,又 取消 订单 并 要 求 退 款 。 又 例 
和 à 如 ,提交 订单 后 , 又 申请 去 更 改 送 货 地 点 和 送 货 方 式 。 该 漫游 有 助 
a 于 发 现 软件 在 不 常见 情景 中 所 暴露 的 错误 
as Sie ，_ 测试 人 员 测试 一 些 在 深夜 运行 的 任务 ,例如 每 日 业务 结算 、 数 据 备 
在 清晨 时 ， 一 些 清洁 工会 清 ”测试 人 员 测 试 软件 的 启动 过 程 , 关注 软件 设置 、 操 作 系统 配置 、 硬 
aaa 理 城市 件 参 数 等 对 启动 的 影响 
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5.4 漫游 测试 


( 续 ) 
方法 名 a) 测试 手段 

=- O AAR AEAEE. BIN, WikPowerPointlA 
快递 漫游 eee ee 片 时 ,测试 人 员 跟 随 一 组 图 片 ,测试 图 片 导入 、 图 片 编辑 、 图 文 混 
排 、 图 片 时 出、 幻灯 片 打印 等 功能 ,并 时 刻 检查 图 片 操作 的 正确 性 
apen RRAN FRR MUGEN AA, MRIS, 所 有 的 错误 消息 或 所 和 有 

箱 ， 并 做 短暂 的 停留 的 对 话 框 ， 然 后 依次 访问 它们 ， 并 对 每 个 目标 做 快速 地 测试 
AL， 出 租车 司机 非常 了 人 天 市 测试 人 员 八 现 开 测 做 发 某 一 区 能 的 所 有 途径 ,或 守成 某 页 任务 的 


能 从 多 条 路 线 到 达 目 的 地 


所 有 方式 。 该 漫游 有 助 于 完整 地 考虑 并 测试 一 个 功能 或 情景 


出 租车 司机 有 时 会 尝试 多 种 
路 线 ， 以 到 达 看 似 无 法 进入 
的 区 域 


测试 人 员 有 瞄准 一 个 很 难 达到 的 软件 状态 ,尝试 各 种 方法 去 驱动 软件 
抵达 该 状态 。 该 漫游 有 助 于 完整 地 考虑 并 测试 一 个 功能 或 情景 


城市 中 有 脏 乱 差 的 社区 。 旅 


测试 人 员 分 析 软 件 的 哪些 模块 拥有 许多 缺陷 。 因 为 缺陷 常常 聚集 出 


恶 邻 漫游 行者 会 避 之 不 及 ， 侦 探 却 要 M, 而 且 缺 陷 修 复 也 可 能 引入 新 的 问题 , 所 以 那些 模块 可 能 还 存在 
勇往直前 更 多 缺陷 。 测 试 人 员 需 要 花 时 间 专门 测试 这 些 模块 
ALL anha 测试 人 员 软件 实现 , 发 现 哪些 模块 拥有 历史 代码 。 当 这 些 历史 代码 
博物 馆 漫游 ee 被 修改 ,或 应 用 在 新 环境 中 ,它们 很 可 能 导致 软件 故障 。 因 此 ， 测 
试 人 员 需 要 花 时 间 测 试 历史 代码 以 及 它们 和 新 代码 的 交互 
yanan, PEENE “测试 人 员 细致 地 比较 当前 版 本 和 先前 版 本 的 行为 .该 测试 有 助 于 发 
ON mix 现 严 重 的 兼容 性 缺陷 
ae 测试 人 员 重 点 测试 软件 的 非 主要 功能 。 例 如 , 对 话 框 上 有 一 条 指向 
行者 会 访问 著名 景点 ， 也 í l l 
ee A m 。 玫 助 文档 的 链接 ,很 少 有 用 户 会 注意 到 它 。 测 试 人 员 则 需要 点 击 该 
i 链接 , 以 检查 它 指 向 正确 的 文档 。 该 漫游 有 助 于 完整 地 测试 软件 的 
每 个 功能 
旅行 者 通常 不 会 进入 阴暗 的 ”测试 人 员 重点 测试 很 少 人 使 用 的 功能 ,以 检查 软件 是 否 可 以 满足 少 
ede 后 起 ， 但 侦探 恰恰 相反 数 用 户 的 特殊 需求 
ean 。 “放行 者 既 访 问 华 丽 的 景点 ， ”测试 人 员 将 受 欢 迎 的 功能 和 无 人 问津 的 功能 放 在 一 起 测试 * 这 有 且 
ee 又 进入 阴 暑 的 后 起 于 发 现 一 些 隐藏 很 深 的 集成 缺陷 
测试 人 员 长 时 间 用 各 种 方法 测试 产品 , 且 不 重新 启动 它 。 该 漫游 有 
些 旅行 者 会 在 酒吧 通宵 DONS oe ie ua 
通宵 漫游 Fa ET 于 发 现 一 些 长 时 间 运 行 才能 上 名 的 缺陷 ,如 计算 误差 虹 积 、 资源 
| 缓慢 泄漏 等 
ae ”测试 人 员 通 过 测试 去 收集 软件 的 输出 ,收集 得 越 多 越 好 。 例 如， 测 
一 些 旅行 者 会 收集 所 到 |] i ay) 
ueweae vane re a PowerPoint Hitt, WRX A SUES AML SEN AAS, A 
j oo E 盖 图 片 格式 、 图 片 色彩 、 图 片 效果 、 图 片 尺寸 等 因素 。 该 漫游 有 助 
于 周密 地 巷 盖 软件 的 计算 结果 
sane CAAT RSS) ”测试 人 员 重点 测试 软件 界面 ， 检 查 界面 是 否 美 观 、 控 件 是 否 正 确 、 
di 最 多 的 目光 动 面 是 否 流畅 、 色 彩 是 否 协 调 、 刷 新 是 否 及 时 、 字 体 是 否 优雅 等 
一 个 商业 旅行 者 常常 访问 新 
的 城市 。 为 了 了 解 陌生 的 城 ”测试 人 员 选 择 一 个 功能 , 然后 构造 最 长 的 路 径 去 访问 它 , 其 主旨 是 
孤单 商旅 漫游 。 ”市 ， 他 会 选择 一 个 距离 办 公 ”在 达到 目的 地 之 前 使 用 尽 可 能 多 的 功能 。 这 有 助 于 测试 人 员 更 好 


地 点 较 远 的 旅馆 ， 以 便 他 有 
机 会 在 城市 中 穿行 


理解 软件 ， 并 发 现 多 个 功能 交互 引发 的 缺陷 
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方法 名 


隐喻 


( 续 ) 


测试 手段 


在 测试 时 ,测试 人 员 启 动 被 测 软 件 的 多 个 进程 ,让 它们 都 开始 工作 ， 


测 一 送 一 漫游 购物 者 都 喜欢 买 一 送 一 并 试 着 让 它们 访问 相同 的 资源 ( 如 本 地 文件 、 网 络 服务 等 ) 。 这 有 
助 于 发 现 进程 相互 影响 而 导致 的 软件 错误 
苏格兰 酒吧 漫游 苏格兰 旅行 者 喜欢 成 群 结 队 ”测试 人 员 需 要 理解 产品 的 用 户 社区 , 他 可 以 参与 用 户 讨论 组 , 回答 
0 的 泡 吧 、 喝 酒 、 聊 天 ] 户 问题 ， 阅 读 有 关 产 品 的 博客 、 评 测 和 新 闻 
测试 人 员 重 点 测试 软件 的 国际 化 和 本 地 化 特性 , 例如 , 软件 能 否 正 
多 元 文化 漫游 一 个 国际 化 大 都 会 往往 拥有 ” 确 地 显示 多 种 语言 的 文字 ( 包括 从 右 向 左 的 阿拉 伯 文 ) ,软件 能 否 
i 不 同文 化 的 社区 根据 系统 设置 正确 地 显示 货币 、 日 期 、 数 字 等 格式 , 软件 能 否 正确 
地 处 理 多 种 语言 的 输入 等 
测试 人 员 启 动 一 个 耗 时 较 长 的 操作 , 然后 取消 它 。 不 正确 的 取消 逻 
遇 到 阵雨 时 ， 旅 行者 会 暂停 ” 辑 会 破 环 软件 的 状态 , 导致 软件 故障 , 所 以 测试 人 员 要 检查 软件 在 
阵雨 漫游 旅程 。 当 雨 过 天 上 晴 ， 他 会 继 ”取消 之 后 是 否 可 以 正常 工作 。 此 外 ,测试 人 员 还 可 以 启动 一 个 操作 ， 
续 上 路 不 等 它 结束 , 又 开始 一 个 相同 的 操作 。 有 些 软件 不 能 正确 处 理 并 发 
计算 ， 两 个 同时 进行 的 计算 可 能 触发 软件 故障 
测试 人 员 尽 可 能 不 提供 或 修改 数据 , 这 意味 着 接受 软件 提供 的 默认 


有 些 人 很 少 旅行 ， 只 是 整 天 
陷 在 沙发 里 看 


电视 


值 、 保 持 表单 字段 为 空 、 或 只 提交 最 少 的 数据 。 该 漫游 检查 软件 可 
义 处 理 它 提供 的 默认 值 、 空 值 和 可 选 字 段 


某 些 旅行 者 会 破坏 环境 ， 并 


软件 操作 需要 的 资源 , 然后 强制 软 伯 


测试 人 员 实施 故障 注入 和 错误 容忍 方面 的 测试 。 他 故意 破坏 或 移 除 


F 执 行 注定 导致 失败 的 操作 。 该 


CEEE ae 漫游 将 测试 软件 能 否 合理 地 处 理 (不可 各 免 的 ) 失败 , 且 不 会 导致 
更 严重 的 后 果 ( 如 用 户 数据 丢失 ) 
i he eee i ) TRA RESKO, USAINAK, PORNA Ke 
= oe 查 软 件 能 否 合理 地 处 理 困 难 的 任务 和 恶意 的 输入 
Pe Ast ISON SRDS 该 漫游 是 种 特殊 的 反 产 漫游 , 它 要 求 测试 人 员 输 入 无 效 的 数值 来 
C 他 不 喜欢 的 人 或 事 考验 软件 
ney 。 ”下 会 实施 多 三 且 无 孔 不 人 PAAR, CHER MARA TERIA. 
a 的 攻击 用 各 种 方法 和 工具 攻击 软件 
— 该 漫游 是 种 特殊 的 反叛 漫游 , 它 要 求 测试 人 员 以 错误 的 方式 或 顺 
歧路 漫游 m E, BOARA 。 序 来 操作 软件 。 例 如 , WRA REEK THERN, EE 
S 未 经 初始 化 的 数据 等 
mer 强迫 症 患 者 会 反复 做 同一 件 ”测试 人 员 反复 执行 同样 的 一 组 操作 ,这 些 操作 的 累积 效应 可 能 导致 
强迫 症 漫 游 raa a nie 
事情 软件 故障 
该 漫游 针对 情景 测试 ,以 引信 更 多 的 测试 变化 CERIA SUR 
— 有 些 旅行 者 会 混入 他 人 的 旅 ” 随 一 个 测试 情景 访问 某 个 功能 ,然后 再 利用 另 一 个 测试 情景 去 测试 
han 
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行 团 ， 享 受 其 服务 


问题 


其 他 功能 。 这 有 助 于 混合 测试 多 个 情景 ， 发 现 


功能 交互 引发 的 


5.4 漫游 测试 


5.4.3 ”移动 测试 漫 


游 方法 


测试 专家 Jonathan Kohl 针 对 运行 在 移动 设备 上 的 软件 ， 提出 了 一 些 移动 测试 漫游 方法 
[Kohl12]。 其 主要 特点 是 
感应 器 、GPS 、 无 线 网 络 等 )， 基 于 它们 测试 移动 软件 的 功能 。 部 分 方法 无 法 在 办 公 室内 完成 ， 
需要 测试 人 员 在 室内 和 户外 真正 “移动 ”起 来 。 表 5-3 概 述 了 这 些 方法 的 特点 。 


方法 名 


选择 一 组 用 户 的 使 用 情景 或 移动 


设备 的 特性 ( 触 屏 、 光 线 感应 器 、 加 速 


表 5-3 Jonathan Kohl 的 移动 漫游 测试 方法 


测试 手段 


手势 漫游 


测试 人 员 访问 软件 的 每 一 个 界面 ， 并 尝试 各 种 触摸 手势 ,包括 轻 敲 、 两 次 轻 敲 、 按 
压 、 按 压 并 拖 动 、 滑 动 、 旋 转 、 缩 放 等 。 测试 人 员 检 查 软件 支持 哪些 手势 、 这 些 手 
势 是 否 足够 、 支 持 的 手势 是 否 被 正确 地 实现 、 不 支持 的 手势 是 否 被 妥当 地 忽略 等 


方向 漫游 


测试 人 员 访 问 软件 的 每 一 个 界面 , 并 旋转 设备 以 改变 屏幕 方向 : 从 纵向 视图 变 为 横 


向 视图 , 再 变 回来 。 测试 人 员 检 查 两 种 视图 是 否 一 致 、 某 个 视图 是 否 限制 了 用 户 的 


使 用 等 


转向 漫游 


] 户 在 使 用 软件 时 很 可 能 会 改变 主 


意 ,从 当前 界面 跳 转 到 其 他 界面 ,甚至 退出 程序 。 
测试 人 员 需 要 系统 性 地 漫游 软件 ， 以 覆盖 导航 操作 , 包括 : 退回 到 之 前 的 界面 再 进 


和 人 入、 取消 当前 操作 、 回 到 软件 的 主 界面 、 退 出 到 系统 的 开始 屏幕 再 返回 、 关 闭 软件 


再 打开 、 切 换 到 其 他 软件 再 返回 等 


功能 异常 等 问题 


。 测 试 人 员 检 查 这 些 操 作 是 否 会 导致 数据 丢失 、 


配件 漫游 


移动 设备 的 配件 


A ee 的 配件 包括 : 耳机 、 蓝牙 耳机 、 麦 克 风 、 充 电器 、 无 线 充 电 板 、 外 置 刍 
测试 人 员 测 试 软件 能 否 和 这 些 设备 很 好 地 协作 ,并 关注 


盘 、 蓝 牙 键盘 、 外 置 底座 等 


配件 的 接 入 和 拔 出 。 例 如 ， 测试 一 一 款 录音 软件 时 , 测试 人 员 需 要 测试 设备 的 内 战 麦克 
风 和 外 置 麦克 风 。 当 录音 还 在 进行 中 , 拔 出 外 置 麦克 风 , 这 时 软件 会 自动 切换 到 内 置 
麦克 风 继 续 录 音 吗 ? 此 时 ,再 接 入 外 置 麦克 风 ， 软 件 会 切换 回 外 置 麦克 风 吗 


动作 漫游 


用 户 动作 


许多 时 候 用 户 会 移动 设备 , 测试 人 员 需 要 漫游 软件 , 以 检查 软件 可 以 正确 人 处理 加 速 
感应 器 、 重 力 感应 器 等 元 件 发 出 的 信号 , 不 产生 让 用 户 感到 意外 的 情况 。 常 见 的 动 


向 沙发 等 


作 包 括 : 拿 起 或 放下 设备 、 拿 着 设备 挥动 手臂 、 边 走边 用 、 疾 行 时 猛 停 、 将 设备 丢 


光线 情况 


a 


用 户 会 在 不 同 光 线 的 环境 中 使 用 软件 


FEF， 测试 人 员 需 要 漫游 软件 ， 以 检查 软件 是 否 可 以 


AAN 并 清晰 地 显示 内 容 。 常 见 的 测试 环境 包括 : 日 光 灯 
veces 索 黑 的 房间 、 从 漆黑 的 房间 走 入 明亮 的 房间 (或 相反 ) 、 在 温和 灯光 的 
影 下 、 popes 在 猛烈 的 日 光 下 、 在 树 萌 下 、 在 黑夜 中 、 在 黑夜 的 路 灯 下 等 


地 点 漫游 


使 用 软件 的 地 点 


移动 设备 会 依赖 无 线 网 络 信 号 和 GPS 信 号 ， 而 信号 强 弱 与 位 置 紧密 相关 。 测试 人 员 


需要 考察 软件 在 不 同 地 点 的 表现 。 


常见 的 测试 方法 包括 : 在 移动 中 (步行 或 坐车 


使 用 软件 、 在 高 楼 下 使 用 软件 ( 高 楼 对 信号 有 干扰 ) 、 在 大 楼 内 的 不 同 地 点 使 if 
件 、 穿 过 大 楼 或 隧道 等 朋 断 信号 的 地 点 等 


使 用 软 


无 线 网 络 的 状态 


测试 人 员 用 各 种 网 络 情况 测试 需要 通信 的 功能 。 常 见 的 测试 情景 包括 : 各 种 强度 的 


Wi-EFi 网 络 、 各 种 强度 的 3G 网 络 、 从 信号 强 的 Wi-Fi 网 络 移动 到 信号 弱 的 网 络 、 从 


Wi-Fi 网 络 移动 的 3G 网 络 、 从 有 信 ! 


号 移动 到 无 信号 、 从 无 信号 移动 到 有 信号 等 。 


试 人 员 检 查 软件 在 各 种 网 络 情况 下 的 表现 , 并 检查 它 是 否 可 以 正确 地 处 理 网 络 变 
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QF 5% 测试 技术 
( 续 ) 
方法 名 TENAR 测试 手段 
天 所 会 影响 移动 设备 的 定位 服务 、 光 线 感应 句 、 无 线 通信 等 特性 。 测试 人 员 漫游 
es 软件 ， 以 检查 各 种 温度 和 光线 对 软件 的 影响 ， 常 见 的 测试 场景 包括 : 寒冷 的 冬日 
气温 重用 软件 时 的 天 气 as i s E : 
天 气 漫游 。 使 用 软件 时 的 天 气 rao ge ae ry F 45 SRY BEM), 阳光 暴晒 的 夏 日 (高 温 可 能 会 影响 设备 的 
稳定 性 ) 等 
测试 人 员 对 比 移动 软件 在 不 同 操作 系统 上 的 版 本 ， 如 iPhone 、iPad 、Android、 
对 比 漫游 软件 的 不 同 版 本 “WindowsPhone Windows8 等 . 如 果 革 个 版 本 缺少 _ 项 其 他 版 本 具有 的 常见 功能 ， 


测试 人 员 应 该 报告 缺陷 


声音 漫游 


与 声音 有 关 的 事件 


Wik ABA 
音 、 语 音 识别 等 


软件 的 声音 中 


试 软件 能 够 正确 
) 。 此 外 ， 他 还 要 测试 软件 是 否 可 以 正确 处 到 
断 。 例 如 ， 软 人 
伴随 提示 音 ， 音 乐 在 被 中 断 之 后 可 
入 ， 在 通话 结束 后 音乐 可 以 4 


F 正 在 播放 音 
以 继续 播放 吗 ? 如果 在 播放 音乐 时 ， 有 电话 
化 续 播 放 吗 


也 支持 音频 输出 ( 播放 声音 、 音 乐 等 ) 与 音频 输入 ( 录 
E 来 自 操作 系统 和 其 
乐 时 , 日程 安排 软件 弹出 会 议 通知 并 
be 


组 合 漫游 


移动 技术 的 组 合 


同时 工作 ) ， 
Pine) ， 还 使 用 


移动 设备 会 使 用 多 种 技术 , 测试 人 员 需 要 漫 
同时 使 用 这 些 技术 。 例 如 ， 测 试 人 员 


边 走 


游 软 件 ， 


边 使 


以 检查 软件 是 否 可 以 正确 


同时 让 它 使 有 
各 种 创 


k 摸 手势 〈 使 


(使 用 


He, 
有 软件 ( 让 GPS 和 加 速 感 应 器 
| 互联 网 资源 ( 使 用 无 线 网 络 ) ， 并 播放 音乐 
触摸 屏 ) 来 改变 软件 的 状态 


iA 


一 致 性 漫游 


操作 系统 的 软件 开 
发 指南 


测试 人 员 访 问 移 


动 软 人 


F 的 每 一 个 界面 ， 


将 软件 的 设计 与 操作 系统 的 软件 开发 指南 
进行 比较 。 如 果 发 现 当前 软件 与 推荐 设计 不 一 致 ， 测 试 人 员 需 要 报告 缺陷 


户 温 游 


软件 的 用 


邀请 最 终 用户 试 
可 以 邀请 开发 者 
PAE, 

的 使 用 习 


JE 
IL y 


用 


然后 扮 i 


IM 


演 人 
新 


也 们 ， 以 
RER 


的 家 人 和 朋友 来 参与 
也 们 的 方式 来 使 用 软 
从 入 忽视 的 


F, 观察 他 们 的 行为 , 收集 他 们 的 反馈 。 对 于 小 型 开发 团 
， 测 试 人 员 还 可 以 拟定 几 个 典型 的 用 
4 


o 此 外 


问题 


队 ， 


于 测试 人 员 摆 脱 


牛 。 这 有 


使 用 软件 的 地 点 


当 用 


户 在 家 时 ， 他 人 


] 很 可 能 躺 在 休息 


查 当 用 户 躺 下 或 


By 


ii RAY, 


至 


也 可 以 舒适 


的 沙 


地 使 用 软件 


发 或 床上 使 


软件。 测试 人 员 需 要 检 


设备 


已 里 


当 设 备 的 电量 有 


降低 CPU 的 运行 速度 。 疯 
如 果 软 件 所 


这 种 情况 。 


将 下 


尽 时 


况 。 如 果 设 备 连 


上 电源 ， 


相关 服务 被 


IEE HK 


启动 ， 


软件 应 该 恢复 


正常 工作 


， 操 作 系统 很 可 能 会 关闭 一 些 (软件 所 依赖 的 ) 服务 并 
试 人 员 需 要 漫游 软件 ， 
大 赖 的 服务 被 关闭 ， 它 应 该 以 用 


是 否 可 以 正确 地 处 理 
户 友 好 的 方式 报告 当前 情 


温度 漫游 


用 环境 的 温度 


极 寒 和 极 热 的 使 
i 
时 用 不 便 等 问题 


H 


环境 会 影 
j 试 人 员 需 要 在 这 些 环境 


向 移动 设备 的 硬件 表 


岗 ， 有 可 能 导致 软件 出 现 故 障 。 
漫游 软件 , 以 检查 软件 是 否 出 现 计算 错误 、 性 能 迟缓 


与 其 他 设备 的 协作 


越 来 越 多 的 用 


多 个 设备 来 协同 工作 


后 用 平板 电脑 
手机 下 载 并 阅 
方便 地 分 享 给 其 
们 是 否 可 以 组 


接着 又 在 平板 
bite, J 
平滑 的 工作 流 来 完成 


单 购买 。 又 例如 ， 他 在 桌 


TH 


o Bil 


如 ,他 在 手机 上 发 


岗 了 一 款 衣 服 ， 然 


Nii 


本 


电脑 上 发 现 了 


电脑 上 继续 阅读 。 涡 


-接受 来 自 


其 他 设备 的 信息 。 他 使 
同一 项 任务 


EFP, EH 
试 人 员 测试 软件 可 以 将 信息 
用 多 款 设备 ， 检 查 它 


软件 的 性 能 


题 和 可 靠 性 问题 


使 用 软件 、 在 低 


测试 人 员 给 软件 施加 压力 ， 


让 它 全 力 运转 或 


面临 资源 压力 ， 


。 常 见 的 测试 方法 包括 : 同 


4 检查 软件 的 性 能 问 
时 运行 多 款 软件 、 让 软件 读 取 空间 耗 
尽 的 存储 卡 、 让 软件 处 理 尺寸 巨大 的 图 片 、 让 软件 传输 大 量 数据 、 在 低速 网 络 
量 时 使 用 软件 竺 


h 
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5.4 漫游 测试 


方法 名 覆盖 对 象 


( 续 ) 


测试 手段 


测试 人 员 漫 游 软 件 ， 识 别 由 软 伯 
情绪 漫游 关注 软件 可 用 性 , 关注 


3| 发 的 快乐 、 自 罕 、 滑 移 、 疑 惑 、 恼 怒 等 情绪 。 
软件 带 给 用 户 的 感觉 , 这 对 于 移动 软件 非常 重要 。 
] 户 会 之 不 犹疑 地 删除 一 款 让 他 感到 被 患 弄 或 被 激怒 的 软件 , 整个 过 程 只 要 两 秒 


情绪 漫游 使 用 软件 的 心情 钟 。 更 糟糕 的 是 ， 他 可 能 在 应 
很 不 利 的 。 面 对 大 量 的 同类 软 
这 意味 着 1 颗 星 的 软件 几乎 没有 
用 户 评分 拉 升 到 3 颗 星 或 更 高 ， 


用 商店 留 下 1 颗 星 的 恶 评 ， 这 对 移动 软件 的 推广 是 


牛 ， 用 户 在 选择 时 会 默认 排除 3 颗 星 以 下 的 软件 ， 


机 会 被 安装 。 开 发 团队 可 能 需要 多 次 发 布 才能 将 


而 这 只 是 为 了 弥补 一 次 糟糕 发 布 的 恶果 


急迫 漫游 使 


= 


用 户 有 时 会 在 焦急 的 情绪 下 使 


用 软件 ， 例 如 他 上 班 迟 到 ,一 边 小 跑 着 一 边 上 


J 
HAFI Ot 向 领导 发 邮件 : “ 今 早 的 会 议 我 会 晚 到 一 会 。” 测 试 人 员 需 要 模仿 这 种 情景 ， 用 


手机 


急促 的 动作 和 不 耐烦 的 心态 来 操作 软件 ， 以 发 现 软件 的 不 足 


随 着 智能 手机 成 为 人 们 强烈 依赖 的 联络 工具 和 计算 平 
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台 , 智能 手机 厂商 加 快 了 竞争 步伐 , 市 


场 上 的 新 产品 层出不穷 。 一 些 团 体 和 个 人 会 对 新 产品 进行 评测 ， 并 在 网 络 上 用 文字 、 图 片 、 视 频 
等 形式 公布 测评 结果 。 对 比 JonathanKohl 的 移动 漫游 测试 ， 不 难看 出 有 一 些 评测 从 移动 测试 的 角 


度 存 在 以 下 不 足 。 


口 这 些 评 测 的 主要 形式 是 评测 者 坐 在 室内 把 玩 手 机 ， 只 包含 很 有 限 的 移动 场景 。 但 是 ， 用 
户 使 用 手机 的 情景 是 丰富 多 样 的 。 他 们 会 躺 着 使 用 、 边 走边 用 、 坐 在 高 速 行驶 的 车 辆 中 


有 限 的 评测 场景 不 能 全 面 考察 知 


环境 中 的 使 用 体验 。 


使 用 、 在 不 同 光线 环境 中 使 用 、 在 烈日 下 使 用 、 在 


黑夜 中 使 用 、 在 各 种 无 线 网 络 中 漫游 …… 


能 手机 所 遭遇 的 各 种 情况 ， 不 能 很 好 地 反映 用 户 在 真实 


口 这 些 评 测 会 逐个 分 析 智 能 手机 的 特性 ， 如 外 形 、 屏 幕 、 拍 照 、 摄 像 、 操 作 系统 、 经 典 应 
用 等 ， 有 些 评测 还 会 逐 项 打分 。 但 是 ， 在 真实 环境 下 ， 用 户 往往 会 同时 利用 多 个 硬件 特 
性 ， 运 行 多 个 软件 ， 让 它们 相互 配合 来 完成 任务 。 例 如 ， 智 能 手机 用 户 小 王 在 餐厅 就 餐 。 
在 等 待 上 菜 时 ， 她 打算 网 购 一 个 皮包 ， 于 是 打开 手机 ， 用 浏览 器 访问 在 线 商 城 。 正 在 浏 
览 页 面 时 ， 手 机 屏幕 上 显示 一 条 提示 : 有 Wi-Fi 网 络 可 用 ， 是 否 连接 ? 她 选择 接 入 ,浏览 
器 弹出 新 标签 以 显示 Wi-Fi 确 认 页 面 ， 她 确认 后 ， 
先前 的 页 面 继续 浏览 ， 这 时 浏览 器 开始 使 用 Wi-Fi 网 络 发 送 并 接受 数据 。 不 久 ， 她 发 现 了 
一 款 很 好 的 皮包 ， 但 没有 下 决心 购买 。 为 了 回 家 之 后 在 电脑 上 再 详细 浏览 ， 她 用 邮件 应 
用 将 当前 的 页 面 链接 发 送 到 自己 的 邮箱 。 在 这 个 简单 的 使 用 情景 中 ， 用 户 访问 了 智能 手 
机 的 多 项 功能 。 设 计 良 好 的 手机 能 让 用 户 体 验 尽 可 能 平滑 ， 而 设计 不 良 的 产品 则 会 让 整 
个 过 程 兢 确 绊 绊 。 只 孤立 地 测试 手机 的 各 个 功能 ， 
不 能 反映 出 智能 手机 在 日 常生 活 中 的 表现 。 

口 这 些 评测 为 了 表现 公正 客观 ， 刻 意 在 形式 上 排除 个 人 情绪 的 因素 。 但 是 ， 用 户 在 使 用 智 
能 手机 时 总 是 带 有 或 强 或 弱 的 情绪 。 有 时 强烈 的 情 


智 


能 手机 连 上 Wi-Fi 网 络 。 然 后 ， 她 回 到 


不 考虑 它们 在 应 用 场景 中 的 交互 ， 就 


感 会 影响 他 的 使 用 方式 ， 反 之 智能 手 


机 的 表现 也 会 严重 影响 用 户 的 情绪 。 例 如 ， 智 能 手机 用 户 小 王 受 邀 参与 一 场 婚礼 。 在 婚 
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礼 现场 ， 照 明灯 光 缓 缓 关 闭 ， 婚 礼 进行 曲 渐渐 响起 ， 聚 光 灯 打 向 大 厅 入 口 ， 新 人 步 和 人 殿 
堂 。 这 时 ， 全 场 欢 腾 ， 大 家 纷纷 喝彩 ， 并 拿 出 手机 拍照 。 小 王 也 受到 全 场 气 氛 的 鼓舞 ， 
很 开心 地 拿 出 手机 拍照 。 设 计 优 秀 的 手机 能 让 她 在 黑暗 中 方便 地 局 动 拍照 程序 ， 快 速 地 
拍摄 出 高 质量 的 照片 ， 并 轻松 地 分 享 给 她 的 好 友 ， 这 让 小 王 在 欢乐 氛围 中 感到 由 衷 的 高 
兴 。 设 计 不 良 的 手机 会 让 小 王 遭 遇 各 种 问题 : 在 黑暗 的 环境 操作 不 便 、 拍 照应 用 启动 组 
慢 、 拍 摄 的 照片 效果 不 佳 等 。 这 破坏 了 小 王 原本 快乐 的 心情 ， 证 她 感到 焦急 和 不 快 。 平 
日 里 可 以 容 妨 的 迟缓 和 卡 顿 ， 在 如 此 欢乐 的 氛围 中 却 格 外 令 人 和 恼怒。 实际 上 ,市场 上 的 
领军 产品 的 共同 特征 是 能 够 激发 出 用 户 强烈 的 正面 情绪 ， 将 产品 “融入 ”其 生活 ， 让 他 
或 她 不 假 思 索 地 说 出 : 我 爱 “ 我 的 ”手机 。 可 见 ， 为 了 构建 卓越 的 产品 ,测试 人 员 需 要 
考虑 用 户 情感 。 


评测 是 一 种 简化 的 测试 , 其 目标 通常 是 在 很 短 的 时 间 内 大 致 了 解 产品 的 各 方面 ,以 发 布 宽泛 
的 评测 结果 。 因 此 ,它们 拥有 以 上 不 足 也 许 是 可 以 接受 的 。 不过, 也 有 的 人 从 实际 使 用 的 角度 体 
验 并 分 析 产 品 。 例 如 ， 科 技 作家 Paul Thurrott 在 评测 Surface Pro 时 ， 编 写 了 一 组 文章 ": 总 评 、 第 
一 天 的 使 用 体验 、 在 旅行 中 使 用 Surface Pro、 用 Surface Pro 取 代 人 台式 机 、 用 Surface Pro 取 代 超 级 本 、 
对 比 Surface Pro 和 Surface RT 的 阅读 体验 等 。 他 分 析 了 不 同 场景 中 Surface Pro 的 优 缺 点 ， 并 讨论 了 
如 何 克 服 产品 的 不 足以 获得 更 好 的 体验 。 这 组 文章 并 没有 提供 大 量 的 定量 分 析 , 但 是 基于 使 用 情 
景 的 定性 分 析 更 贴近 用 户 的 实际 体验 。 


作为 专业 人 士 , 测试 人 员 更 要 深入 考察 移动 应 用 的 使 用 情景 、 功 能 交互 和 用 户 体验 。 在 竞争 
日 趋 激烈 的 移动 应 用 市 场 ， 只 有 优秀 的 软件 才能 获得 用 户 的 青睐 。 为 此 , 测试 人 员 需 要 深入 用 户 
情景 , 去 全 面 评估 软件 对 用 户 的 价值 。 传 统 软件 的 测试 人 员 也 可 以 参考 本 节 的 测试 方法 和 背后 的 
思想 ， 将 它们 移植 到 自己 的 项 目 ， 为 提高 用 户 价值 作出 贡献 。 


5.4.4 实施 漫游 测试 


由 以 上 讨论 可 知 , 漫游 测试 是 一 个 测试 方法 家 族 , 不 同 的 测试 专家 从 各 目的 实践 出 发 , 提出 
了 不 同 的 漫游 测试 方法 。 测试 人 员 学 习 漫 游 测 试 , 不 但 要 了 解 具体 的 实施 方法 ,还 要 体会 漫游 方 
法 针对 的 问题 , 唯 有 如 此 才能 选择 合适 的 方法 来 测试 产品 。 在 选择 漫游 方法 时 , 他 可 以 考虑 如 下 
策略 。 


口 在 项 目 早期 ， 选 择 广泛 漫游 的 策略 。 使 用 功能 漫游 、 业 务 漫游 、 价 值 漫游 、 地 标 漫游 等 
方法 ,学习 产 品 并 发 现 明 显 的 错误 。 测 试 的 重心 不 是 深入 模块 或 功能 ， 不 是 挖掘 隐藏 很 
深 的 缺陷 ， 而 是 理解 产品 的 远景 和 价值 ， 建 立功 能 之 间 的 联系 ， 获 得 产品 的 整体 模型 。 

口 随 着 项 目 发 展 ， 根 据 项 目 风险 和 已 发 现 的 缺陷 ， 选 择 一 些 深入 漫游 的 测试 方法 。 使 用 极 
限 值 漫游 、 复 杂 性 漫游 、 后 起 漫游 、 阵 雨 漫游 等 方法 ， 针 对 特定 目标 实施 细致 的 测试 。 


O http://winsupersite.com/windows-8/going-pro。 
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通常 ， 之 前 执行 的 功能 漫游 、 风 险 识 别 漫游 等 “探索 型 、 学 习 型 ”的 方法 可 以 为 深入 测 
试 提供 测试 想法 和 风险 列表 。 

O 根据 想 要 了 解 的 信息 ， 选 择 合适 的 漫游 方法 。 在 项 目的 任何 时 候 ， 如 果 测 试 人 员 想 要 获 
得 特定 的 信息 ， 他 都 可 以 选择 合适 的 漫游 方法 进行 探索 。 例 如 ， 他 和 希望 了 解 软件 是 如 何 
处理 数据 的 ， 他 可 以 选择 数据 漫游 、 数 据 采 样 漫 游 、 快 递 漫游 等 方法 来 探索 软件 的 数据 
处 理 。 此 时 ， 漫 游 测试 是 学 习 驱 动 的 。 

O 根据 想 要 缓解 的 风险 ， 选 择 合适 的 漫游 方法 。 在 项 目的 任何 时 候 ， 如 果 测 试 人 员 想 要 探 
测 软 件 是 否 具有 特定 类 型 的 缺陷 ， 他 都 可 以 选择 合适 的 漫游 方法 进行 攻击 。 例 如 ， 他 感 
觉 软 件 在 并 发 计算 上 并 不 稳定 ， 于 是 他 选择 阵雨 漫游 、 测 一 送 一 漫游 等 方法 来 强力 探测 。 
此 时 ,漫游 测 试 是 风险 驱动 的 。 


因为 一 个 具体 的 漫游 方法 只 探索 了 软件 的 一 个 方面 , 测试 人 员 应 该 选择 多 种 漫游 方法 来 实施 
多 角度 的 调查 , 并 随 着 产品 的 发 展 引 入 有 针对 性 的 漫游 方法 。 他 可 以 通过 漫游 测试 去 掌握 更 多 的 
知识 ， 识 别 出 可 能 的 风险 ,然后 安排 新 的 漫游 测试 去 检查 风险 是 否 暴露 为 缺陷 。 本 质 上 ,运用 漫 
游 测 试 是 一 个 动态 的 学 习 和 探索 的 过 程 。 在 具体 实施 漫游 测试 时 ， 测 试 人 员 可 以 考虑 如 下 策略 。 


口 利用 测 程 实施 漫游 测试 。 即 便 测 试 人 员 不 使 用 基于 测 程 的 测试 管理 ( 详 见 3.2.13 节 和 4.2.2 
节 )， 他 也 可 以 拿 出 一 个 小 时 的 时 间 ， 作 为 一 个 测 程 ， 实 施主 题 明 确 的 、 时 间 固 定 的 、 专 
心 致 志 的 漫游 测试 。 为 此 ， 测 程 的 主题 应 该 点 出 具体 的 漫游 方法 ， 例 如 “使 用 功能 漫游 
来 探索 软件 的 功能 ， 以 建立 描述 功能 联系 的 功能 列表 ”、“ 使 用 风险 识别 漫游 来 探索 缺陷 
数 最 多 的 3 个 模块 ， 以 获得 一 份 指导 未 来 测试 的 风险 列表 ”、“ 使 用 阵雨 漫游 和 测 一 送 一 漫 
游 来 测试 模块 A， 以 发 现 并 发 计算 的 缺陷 ”。 

口 利用 测试 发 现 ， 实 施 新 的 漫游 。 在 从 事 某 项 测试 活动 时 ， 测 试 人 员 发 现 了 一 些 奇怪 的 现 
象 或 产生 了 一 些 新 的 测试 想法 ， 为 了 一 探究 竟 ， 他 可 以 选择 合适 的 漫游 方法 立即 展开 测 
试 。 该 策略 常 被 称 为 “顺路 游 ”"， 即 暂时 偏离 原 测试 目标 ， 对 其 他 目标 进行 测试 
[Wittaker09] 。 该 策略 可 以 为 测试 引入 变化 ， 并 捕捉 到 原 测试 策略 没有 考虑 到 的 缺陷 。 如 

果 “ 顺 路 游 ”可 能 产生 复杂 的 场景 ,需要 大 量 的 时 间 ， 会 阻碍 既定 测试 目标 的 完成 ， 那 

么 测试 人 员 应 该 记录 该 测试 思路 ， 并 回 到 原先 的 测试 任务 上 。 这 就 像 在 地 图 上 增加 了 一 

个 地 标 ， 测 试 人 员 稍 后 会 仔细 探索 该 地 区 。 


此 外 , 测试 人 员 还 可 以 根据 项 目 特征 ， 提 出 自己 的 漫游 方法 ， 以 实施 更 有 效率 的 漫游 。 比 较 
正式 的 方法 是 参考 5.2 节 讨论 的 启发 式 方法 创建 流程 ， 通 过 分 析 问 题 、 提 炼 模式 、 提 出 方案 、 试 
验方 案 来 构建 自己 的 方法 。 比 较 简便 的 做 法 是 修改 现 有 的 漫游 方法 ， 获 得 针对 当前 产品 的 漫游 。 
例如 ， 测 试 人 员 测 试 一 款 生 成 报表 的 产品 ， 他 可 以 将 收藏 家 漫游 修改 为 “报表 收集 漫游 ”"。 该 漫 
游 要 求 收集 产品 可 以 生成 的 各 种 类 型 的 报表 ， 包 括 空 报表 、 最 长 的 报表 、 跨 年 报表 、 跨 月 报表 、 
不 包含 数据 图 的 报表 、 包 含 最 多 数据 图 的 报表 等 。 执 行 该 漫游 ,测试 人 员 不 但 测试 了 报表 输出 ， 
还 对 报表 的 输入 数据 、 报 表 的 生成 条 件 、 报 表 的 排版 等 方面 有 了 更 深 的 认识 。 
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5.5 快速 测试 


快速 测试 是 一 组 基于 风险 的 测试 方法 ， 其 特征 是 针对 某 种 常见 的 软件 缺陷 ， 实 施 专 项 攻击 ， 
通常 不 需要 大 量 的 测试 时 间 和 产品 相关 知识 [Kaner11]。 以 下 是 两 个 例子 。 


口 测试 人 员 在 测试 数值 输入 时 ， 一 般 会 使 用 极限 值 测试 法 ， 即 填 人 最 大 值 、 大 于 最 大 值 的 
值 、 最 小 值 、 小 于 最 小 值 的 值 、 零 值 等 极限 值 。 这 是 因为 许多 程序 不 能 妥善 处 理 极限 值 
或 极限 值 的 组 合 ， 会 发 生计 算 错 误 。 

口 测试 人 员 在 测试 输入 字段 时 ， 和 常 采 用 非法 值 测试 法 。 他 会 在 字段 中 填 和 人 超 长 的 字符 串 或 
空 字 符 串 、 在 要 求 输入 数值 的 字段 中 填 人 非 数值 字符 串 、 在 要 求 输入 日 期 的 字段 中 填 和 人 
无 意义 的 字符 串 。 这 些 攻 击 都 检查 软件 能 否 正确 检查 并 过 滤 外 部 输入 ， 而 不 是 让 亚 意 的 
输入 破坏 其 状态 。 


在 上 述 案例 中 , 测试 人 员 只 需要 了 解 产 品 的 基本 情况 ,就 能 够 实施 许多 测试 , 并 可 以 在 很 短 
的 时 间 内 发 现 一 批 错 误 。 


许多 测试 人 员 用 测试 想法 列表 ( 如 3.2.8 节 介绍 的 “测试 启发 式 方法 备 忘 单 ”[QualityTree06] ) 
或 检查 列表 ( 如 3.2.11 节 介绍 的 “You Are Note Done Yet: Checklist”[Hunter10] ) 来 记录 一 组 相关 
的 快速 测试 想法 。 在 许多 情况 下 ， 这些 列表 是 比 详细 测试 用 例 更 合适 的 测试 文档 。 以 下 是 它们 的 
主要 优点 。 


口 测试 想法 列表 和 检测 列表 只 记录 了 基本 的 测试 手段 和 少量 具体 案例 ， 因 此 篇 幅 短 小 ， 更 

容易 编写 和 维护 。 

O 在 实际 测试 时 ,测试 人 员 根 据 列表 可 以 设计 出 大 量具 体 的 测试 用 例 ， 即 列表 指明 了 测试 
策略 ， 而 具体 战术 则 由 测试 人 员 来 决定 。 这 有 助 于 发 挥 测试 人 员 的 能 动 性 ， 激 发 出 更 多 
样 化 的 测试 设计 ， 从 而 避免 了 刻板 测试 用 例 只 测试 特定 操作 的 局 限 性 。 

口 许多 具体 的 测试 用 例 不 会 发 现 错误 ， 因 此 无 需 记 录 在 案 。 少 量 测试 用 例 发 现 了 重要 的 缺 
陷 或 值得 调查 的 问题 ， 测 试 人 员 可 以 将 它们 的 核心 想法 纳入 列表 。 这 意味 着 测试 人 员 通 
过 实际 测试 来 逐步 完善 列表 ， 旦 无需 在 文档 更 新 上 花费 大 量 时 间 。 

口 测试 想法 列表 和 检查 列表 可 以 复 用 于 多 个 项 目 ， 使 得 投入 在 它们 身上 的 测试 资源 有 更 好 

的 回报 。 


快速 测试 的 优势 在 于 用 较 少 的 时 间 快 速 发 现 特定 类 型 的 错误 。 如 果 测 试 人 员 发 现 他 经 党 遇 到 
一 些 相似 的 缺陷 , 他 应 该 考虑 将 相应 的 快速 测试 方法 加 入 测试 计划 。 如 果 现 有 的 快速 测试 方法 不 
能 发 现 此 类 缺陷 ( 这 是 常见 情况 ， 毕 竞 每 个 项 目 都 有 其 特殊 性 )， 测 试 人 员 可 以 设计 一 个 快速 测 
试 方法 ,来 实施 专项 攻击 。 他 可 以 参考 5.2 节 介绍 的 启发 式 方法 建立 流程 ,通过 “分 析 一 设计 一 
实验 一 再 分 析 ” 的 迭代 来 获得 有 效 的 测试 方法 。 
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因为 快速 测试 仅 针对 一 些 常 见 的 软件 缺陷 ， 只 依赖 快速 测试 会 错过 其 他 缺陷 。 而且, 快速 测 
试 没有 充分 利用 产品 的 知识 ， 因 此 不 能 发 现 许 多 领域 相关 的 缺陷 。 可见, 测试 人 员 应 该 将 快速 测 


试 与 其 他 测试 方法 混合 但 


用 。 例如 ,他 用 功能 漫游 建立 产品 的 功能 模 


型 ,用 价值 漫游 理解 软件 如 


何 服务 于 用 户 ， 即 通过 基于 覆盖 的 测试 方法 建立 对 软件 的 整体 认识 。 在 此 基础 上 ,他 选择 一 组 快 


速 测试 方法 对 一 些 功能 和 情景 进行 攻击 ， 以 快速 发 现 一 批 


安排 进一步 的 测试 ， 以 探索 软件 或 实施 后 继 攻 击 。 


5.5.1 


James Bach 的 方法 


了 典型 


AS 


缺陷 。 根据 所 发 现 的 缺陷 , 他 可 以 


测试 专家 James Bach 和 Michael Bolton 在 他 们 主持 的 测试 培训 “快速 软件 测试 ”中 ,介绍 了 一 


批 他 们 常用 的 快速 测试 方法 [Bach11]。 其 中 一 些 方法 


属于 漫游 测试 〈 如 变量 漫游 、 文 件 漫游 、 文 


档 漫 游 等 )， 已 经 在 5.4.1 节 介绍 。 本 节 将 介绍 余下 的 快速 测试 方法 ， 详 情 请 参考 表 5-4。 


表 5-4 James Bach 和 Michael Bolton 的 快速 测试 方法 


方法 名 所 针对 风险 测试 手段 
测试 人 员 测试 产品 最 简单 、 、 最 典型 的 傅 息 ， 完 成 项 或 多 
快乐 路 径 。 ”软件 在 典型 用 户 情景 中 失败 于 务 。 在 此 过 程 中 ， 检 栓 其 表现 是 否 符合 用 户 和 产品 团队 对 
， 而 不 会 让 用 户 感到 疑惑 、 恼 经 、 拂 折 等 负面 情绪 
测试 人 员 启动 一 项 软件 操作 新 它 ， 然 后 再 次 执行 。 或者, M 
恰当 地 处 理 所 有 中 断 是 一 项 有 难 DAAU RRE, IE, AADAT, RA. 
m area nel E 由 动 一 项 软件 操作 ,立即 暂停 该 操作 ， 然 后 恢复 执行 。 中 肠 的 
oo 方法 通常 是 点 击 “ 取 消 ” 按钮 、 关 闭 对 话 杠 等 。 在 移动 平台 上 ， W 
天 速 地 跳 转 到 软件 ( 或 操作 系统 ) IAHE, THEI 
和 动 项 软件 操作 ， 然 后 彼 环 该 操作 所 依赖 的 资源 ， 例 如 
B | 除 它 要 访问 的 文件 、 关 闭 它 将 访问 的 网 络 服务 、 启 动 另 一 个 程序 
pe fy SPAR GE TE Wi Jeb Sta py } 
teii 软件 不 能 正确 处 理 一 些 蜡 常情 次 。 去 锁 住 它 要 修改 的 数据 库 表 格 等 。 软 件 应 该 妥善 地 处 理 这 些 异常， 
告 所 造 遇 的 问题 ， 不 导致 严重 的 故障 
= 一 ] 此 信和 配置 软件 的 参数 ， 开 在 软件 运行 过 程 中 ,修改 这 
周 救 cr JH <e 区 ski Har 
调整 软件 不 能 正确 处 理 数据 的 变化 oe 
将 一 组 操作 重复 DRI, HERIOT 
a 当 某 些 操 作 被 反复 执行 时 ， 软 件 Be. (INN, KARERE ORE, FEIRA ARN 
可 能 出 错 加 入 新 文本 框 ， 以 增加 拒 套 层次 。 当 文本 框 稚 套 层次 达到 
操作 这 组 文本 Ie BLE 
测试 人 员 长 时 间 测试 一 款 软件 ， 不 关闭 它 ， 在 此 过 程 中 ， 用 -此 工 
千 统 合用 。。 软件 可 能 存在 资源 洪 汤 、 误 差 黑 、 具 观察 它 所 使 用 的 资源 包括 CPU、 内 存 、 操 作 系统 句柄 、 网 络 并 
综合 用 。 积 等 长 时 间 运 行 才能 暴露 的 缺陷 库 连 接 等 ， 以 发 现 软件 在 资源 使 用 方面 的 缺陷 。 此 外 ， 他 
还 需要 注意 软件 的 功能 是 否 随 测试 时 间 延 长 而 变 得 不 正确 或 不 稳定 
不 同 的 功能 可 能 由 不 同 的 程序 员 
测试 人 员 发 现 相 互 调用 或 共享 数据 的 一 组 功能 ,然后 用 夸张 的 
二 和 生生 二 基于 同时 和 yj 。 测试 人 员 发 现 相互 调用 或 共享 数据 的 一 组 功能 ， 然 后 用 压 张 的 数据 


写 ， 它 们 的 逻辑 可 能 不 一 致 


或 操作 来 压迫 它们 ， 以 暴露 交互 中 存在 的 问题 
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( 续 ) 
方法 名 所 针对 风险 测试 手段 
”测试 人 员 漫 游 软 件 的 功能 ， 如 果 当 前 功能 提供 了 上 下 文 相关 的 玫 助 ， 
炊 件 不 能 正确 显示 上 = 、 
点 击 帮 助 oo 测试 人 员 调 出 该 帮助 ， 检 查 所 显示 的 内 容 确实 描述 了 当前 功能 ， 能 够 
帮助 用 户 完成 当前 操作 
序 员 在 编写 输入 检查 代码 时 
输入 约束 i ttt 测试 人 员 发 现 软件 的 输入 变量 ， 尝 试 各 种 攻击 手段 让 非法 数据 通过 输 
nae EJLTE , Let ei are 
LA 会 通过 检查 ， 从 而 危害 到 软件 OPE 
测试 人 员 用 忌 标 疯狂 地 点 击 界面 的 每 一 个 像素 ,并 持续 鼓 市 键盘 该 测 
疯狂 点 击 AIRTER 试 也 可 以 由 一 个 程序 来 自动 完成 , 这 样 的 程序 通常 被 成 为 “测试 猴子 ”。 
整 晚 运行 测试 猴子 可 以 发 现 -一 些 资源 泄 汤 、 软 件 崩 湾 方面 的 错误 
”该 测试 的 隐喻 是 用 户 反复 独 忠 刍 各 将 暴雪 意 想不到 的 软件 错误 。 测试 
大 件 不 能 看 kJ AS 3h. 4 i T 4 
EIRA “u 人 员 可 以 在 每 个 界面 都 实施 此 类 攻击 ， 也 可 用 测试 猴子 来 完成 长 时 间 
的 测试 
软件 有 了 时 会 输出 一些 钳 误 的 ”测试 人 员 将 软件 输出 的 数据 可 视 化 ， 使 得 明显 的 错误 信 可 以 在 瞬间 被 
oma 。。 数据 ,但 是 这 些 错误 数据 作 蕊 。 识别。 例如， 他 用 电子 表格 加 载 软件 的 输出 数据 ， 然 后 绘制 点 图 。 
l 在 大 量 的 正确 输出 中 , 不 容易 ”如 果菜 几 个 点 不 符合 整体 变化 规律 ， 远 远 地 偏 在 一 边 ， 它 们 很 可 能 
发 现 问题 。 测 试 人 员 需 要 对 它们 做 深入 调查 
软件 到 出 错误 消息 表明 它 遇 到 异常 情况 其 内 部 状态 可 能 道 到 了 破坏 
或 消息 “软件 的 异常 处 理 代码 常常 
有 因此， 测试 人 员 一 旦 发 现 错误 消息 ， 就 要 对 软件 实施 用 烈 的 攻击 ， 以 
eh å 发 现 不 完善 的 异常 处 理 的 “后 遗 症 ” 
= | isk A EMEA PETT DIET VER, CPU. Pate. EMR. Rae 
资源 紧 ky po s hr AH 、 ` - 、 Ton be 、 
KIUR a 软件 可 带宽 等 ， 直 至 软件 报错 或 退出 。 在 此 过 程 中 ， 软 件 应 该 平稳 地 对 待 资源 
or KH, REPOZAR, ACEI, BARN EH 
WOW 并 发 运行 的 多 个 实例 会 相互 “测试 人 员 启动 软 伯 的 多 个 进程， 并 循环 操作 它们 ， 以 发 现 由 并 发 操作 
干扰 造成 的 访问 神 突 、 数 据 破坏 等 问题 
月 广安 修改 操作 系统 配置 ， 例 如 一 些 视 方 减弱 的 老年 人 将 系统 字体 设 
me 软件 不 能 在 特定 配置 的 平台 。 为 最 大 ， 或 将 分 状 率 调 为 最 低 ， 以 方便 阅读 。 这 些 配置 可 能 会 玻 坏 软 
Hee 件 的 界面 布局 ， 使 某 些 功能 不 能 被 正常 访问 。 为 此 ， 测 试 人 员 需 要 
一 些 极端 的 配置 来 测试 软件 ， 以 发 现 由 特殊 配置 引发 的 错误 
James Bach 分 享 了 他 使 用 的 工具 : InCtrl5? ( 环境 监视 工具 ) 、Process 
Monitor? ( 进程 监视 工具 ) 、Application Verifier ”( 调试 辅助 工具 ) 、 
T 复杂 的 工具 有 时 不 如 一 些 轻 Perfmon ( Windows 性 能 监视 器 ) . Process Explorer” 进程 查看 工具 ) 、 
Fe 便 的 工具 简单 直接 Windows 任 务 管理 器 、 一 个 便宜 的 摄像 闪 和 款 便宜 的 摄影 机 ( 用 于 拍 
摄 测试 过 程 ) 、Microsoft Excel ( 用 于 表格 制作 和 数据 分 析 ) 、HTML 验 
证 器 s 等 。 测 试 人 员 需 要 持续 留意 有 价值 的 工具 ， 以 丰富 自己 的 武器 库 


O http:/en.wikipedia.org/wikiInCtrl5。 
© http://technet.microsoft.com/es-ar/sysinternals/bb896645 -7 
@® http://msdn.microsoft.com/en-us/library/ms220948(v=VS.90).aspx。 
@ http://technet.microsoft.com/en-us/sysinternals/bb896653。 
© http://validator.w3.org/. 
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不 难看 出 , 以 上 测试 方法 与 5.4.2 节 介绍 的 一 些 漫游 测试 方法 很 相似 , 例如 “持续 使 用 ” 和“ 通 


宵 漫游 ”都 建议 长 时 间 使 用 产品 ,“ 多 个 实例 ”和 “ 测 一 送 一 ”都 建议 同时 运行 被 测 软 件 的 多 个 
进程 。 这 说 明 不 同 的 测试 实践 者 针对 常见 的 软件 错误 , 不约而同 地 提出 了 相似 的 测试 策略 。 对 于 
测试 人 员 而 言 , 重新 思考 已 有 的 测试 方法 , 将 它 改 造 为 适合 新 情景 的 新 方法 ,是 掌握 测试 并 提高 
自身 能 力 的 必由之路 。 恰 如 CemKaner 等 所 说 “你 不 能 掌握 测试 ,除非 你 重新 发 明 它 ” [Kaner01]。 
测试 人 员 不 应 该 单纯 地 接纳 测试 技术 ,他 应 该 分 析 测 试 技术 的 细节 ,理解 其 工作 原理 ， 融 和 自己 
的 经 验 和 其 他 技术 ， 以 获得 新 的 方法 。 坚 持 这 样 的 研究 和 发 明 将 帮助 测试 人 员 走 向 精通 之 路 。 


5.5.2 Cem Kaner 的 方法 
Cem Kaner 在 他 主持 的 测试 课程 “墨盒 软件 测试 ”中 ， 也 介绍 了 一 批 他 总 结 的 快速 测试 方法 


[Kaner11]。 表 5-5 总 结 了 这 批 方法 的 特征 。 


Ti 


#5-5 Cem Kaner 的 快速 测试 方法 


测试 对 象 所 针对 风险 测试 手段 
j 户 对 软件 的 第 一 印象 往 和 
来 自 其 界面 。 MLE 7 Ti 
ATEN MNRAS FR-FR, Ser or aR KY, MIAT 
VR a a ge eae sacra pe peep ay 设计 。 此 外 , 他 还 可 以 参考 受到 好 评 的 界面 设计 ， 以 发 现 被 测 产品 的 可 
2o 
e UHR OES 
是 否 安装 或 购买 的 重要 因素 
常见 的 测试 想法 : 
。 发现 业务 的 范围 和 边界 ， 测 试 边界 上 的 值 和 临近 边界 的 信 
。 测 试 超出 范围 的 值 
aah Hc EASA GDL ALOT TT o RA AE ei ae ENE 
j 出 错 。 令 一 个 模块 输出 其 他 模块 不 能 接受 的 值 ， 例 如 ， 界 面 的 字段 只 能 显示 
20 个 字符 的 字符 串 ， 测 试 人 员 让 后 台 模 抉 产生 21 个 字符 的 字符 串 。 又 
例如 ， 后 台数 据 库 的 字段 是 8 位 整数 ， 测 试 人 员 让 前 台 网 页 传递 大 于 
255 的 整数 
ee Hy FE ORY eT TAT GE RS 
bach ae 测试 人 员 要 留意 软件 的 数值 计算 。 如 果 觉 得 某 个 计算 有 溢出 的 风险 , 就 
pers 的 传人 极 大 值 或 极 小 值 去 触发 潜在 的 溢出 
常见 的 测试 想法 : 
。 输 入 错误 的 数据 以 测试 数据 转换 ， 例 如 ， 软 件 期 望 用 户 输入 整数 ， 测 
试 人 员 就 输入 浮 点 数 、 无 效 字符 囊 、 空 字符 囊 
。 除 零 
apep 数据 转换 和 数值 计算 有 一 些 。 除 很 接近 零 的 极 小 数值 ， 这 会 产生 很 大 的 计算 结果 ， 有 可 能 导致 数值 


典型 的 错误 


越界 或 溢出 
。 将 高 精度 的 数值 强制 赋 给 低 精 度 的 数值 ， 这 可 能 导致 精度 丢失 ,其 至 
计算 错误 
。 浮 点 数 运算 很 可 能 产生 误差 , 一 些小 的 误差 会 景 积 出 严重 的 偏差 , 因此 ， 
测试 人 员 要 关注 涉及 多 个 变量 或 步骤 的 数值 计算 , 仔细 检查 其 结果 的 精度 
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( 续 ) 
TER 所 针对 风险 WEFR 
变量 通常 有 如 下 5 个 状态 ， 测 试 人 员 要 检查 程序 的 对 变量 状态 的 假设 是 
段 程序 在 使 用 一 个 变量 全 全 
sane 时 ， 可 能 对 该 变量 的 状态 有 TAP 
不 正确 的 假设 ， 这 会 导致 次 “ 
件 故障 pe N , 
“已经 被 赋予 当前 计算 需要 的 值 
。 携 带 有 其 他 计算 的 结果 
PERERA, Tk ARERR BENE, ARTE BORA TEL, 
并 检查 相应 功能 是 否 依然 正确 。 例 如 ，Word 允 许 在 文档 中 插入 “ 域 ”， 
软件 可 能 不 能 侦 测 到 它 所 依 。 以 显示 文件 的 保存 时 间 。 测试 人 员 在 文档 中 插入 文档 保存 时 间 的 域 ， 然 
被 修改 的 值 ” 赖 的 事物 发 生 了 变化 ， 这 会 “后 更 新 操作 系统 的 时 区 , 那么 文档 再 次 保存 后 , 时 间 字符 串 应 该 得 到 正 
导致 错误 确 地 更 新 。 再 例如 ,用 图 片 应 用 浏览 手机 上 的 图 片 ,切换 到 操作 系统 界 
面 下 期 除 一 些 正 在 显示 的 图 片 ， 再 返回 图 片 应 用 。 此 时 ,图 片 应 用 会 如 
何 显 示 那 此 被 出 除 的 图 片 
WE ee ne oe AASER, 
隐藏 的 问题 造成 环境 失败 等 
SEAL DL PRI: 
。 产 生 错误 消息 的 操作 
本 有 此 软件 错误 会 在 漫长 的 操 。 令 任务 被 过 中断 的 操作 
作 序列 中 暴 吉 o 会 执行 递归 计算 的 操作 
此 外 ,测试 人 员 可 以 编写 测试 程序 ,用 随机 的 顺序 调用 已 有 的 自动 化 测 
试用 例 ， 实 施 长 序列 的 测试 
如果 软件 与 网 络 服务 、 数据 库 、 其 他 软件 有 任何 形式 的 交互 ,测试 人 员 
消息 软件 与 外 界 的 通讯 可 能 中 断 。 要 破坏 它们 之 间 的 通讯 。 他 可 以 编写 程序 来 监听 并 臭 改 消息 ,或 强制 被 
依赖 的 软件 返回 错误 的 消息 ， 以 测试 软件 如 何 处 理 破损 的 消息 
测试 异步 调用 时 ， 测 试 人 员 让 软件 先后 启动 A 和 B 两 个 计算 ， 并 让 B 先 
MERRE 。 软件 可 能 对 操作 的 时 序 有 不 完成 计算 .有 些 软件 不 能 处 理 后 提交 的 计算 先 返回 的 情况 ,会 发 生 故 障 。 
条 件 正确 地 假设 此 外 ,测试 人 员 可 以 同时 启动 多 个 操作 去 访问 共享 的 数据 或 功能 , 以 检 
杜 并 发 计算 是 否 造成 数据 损坏 
如 果 一 个 任务 会 持续 一 段 时 间 ( 例如 ， 软 件 显示 了 进度 条 或 等 待 提示 
软件 在 执行 一 段 关键 任务 符 ) ,测试 人 员 可 以 在 其 执行 过 程 中 产生 一 些 于 扰 。 
时 ， 会 因为 革 些 干扰 而 失败 。 。 移 除 该 任务 依赖 的 资源 。 
干扰 测试 。 ”有 些 失败 是 合理 的 (但 不 应 。 取 消 该 任务 。 
该 造成 故障 和 数据 丢失 ) ， 。。 和 暂停 该 任务 ， 然 后 继续 。 
有 些 失败 则 是 可 以 避免 的 。 。 对 于 移动 应 用 ， 先 切换 到 操作 系统 的 开始 屏幕 或 其 他 应 用 ， 再 返回 。 
。 启动 其 他 程序 与 被 测 软件 抢夺 资源 
he fey HEEL Bo JIH A- EE EE BS po 
TELE Recent feng, WRA EAERAKO AREETAN ELO 
错误 处 理 。 UE ， 掉 训 人 ,以 检查 错误 处 理 代码 是 否 产生 了 资源 泄漏 等 问题 。 然后 , 他 强力 测 


高 的 编写 难度 ， 因 此 容易 
出 错 


试 软件 ， 以 检查 错误 处 理 代 码 是 否 妥当 地 将 软件 恢复 到 正确 的 状态 
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( 2 ) 

测试 对 象 所 针对 风险 测试 手段 

测试 人 员 要 检查 失败 处 理 代 码 的 正确 性 。 例如 , 许多 文本 编辑 软件 提供 
软件 的 失败 恢复 可 能 包含 错 ”了 自动 恢复 功能 , 当 软 件 崩溃 重启 后 , 它 可 以 显示 用 户 最 近 的 编辑 成 果 ， 
误 ， 使 得 损失 加 重 避免 或 降低 了 用 户 数据 的 丢失 。 测 试 人 员 要 测试 自动 恢复 确实 可 以 恢复 

文档 中 的 各 种 数据 

常见 的 测试 想法 : 

e 用 调试 工具 (Application Verifier) SHME RRX APRE E 
错误 ， 这 可 以 模拟 出 磁盘 损坏 等 异常 情况 
。 删除 正在 被 使 用 的 文件 
。 删除 即将 被 使 用 的 文件 
o 锁 住 即 将 被 使 用 的 文件 
© 针 取 软件 持 有 的 文件 句柄 (杀毒 软件 在 扫描 硬盘 文件 时 会 窃取 文件 
句柄 ) 
文件 系统 的 异常 情况 会 影响 。 修 改 一 个 需要 更 高 权限 才能 修改 的 文件 
软件 的 运行 e 令 文件 名 或 文件 路 径 的 长 度 超过 操作 系统 支持 的 最 大 路 径 长 

e 令 文件 名 包含 操作 系统 禁止 的 字符 
将 文件 名 修改 对 操作 系统 有 特殊 含义 的 单词 , 例如 NUL 在 Windows 系 
统 上 是 一 个 特殊 的 设备 名 ， 不 能 是 文件 名 
。 读 写 尺寸 巨大 的 文件 
。 将 文件 写 人 只 读 的 磁盘 
。 将 文件 写 人 容量 即将 耗 尽 的 磁盘 
。 将 文件 写 人 网 络 磁 盘 ， 在 写 入 过 程 中 ， 断 开 网 络 
。 将 文件 写 信 移动 硬盘 ， 在 写 入 过 程 中 ， 拨 出 移动 硬盘 
在 高 负载 的 压力 下 ， 软 件 可 测试 人 员 想 办 法 提高 软件 的 工作 负载 , 并 制造 资源 短缺 的 情况 , 以 测试 
能 出 错 软件 在 性 能 压力 下 的 行为 
测试 人 员 改 变 操 作 系 统 的 配置 ,如 日 期 格式 、 时 间 格 式 、 货 币 格式 、 时 
区 、 默 认 语 言 等 ， 以 检查 软件 在 不 同系 统 配置 下 的 行为 
常见 的 测试 想法 : 
用 两 个 有 效 的 值 组 成 非法 的 取 值 组 合 ， 例 如 “2 月 30 日 ” 
用 相似 的 操作 来 处 理 不 同 的 对 象 , 例 如 在 Word 中 剪贴 一 组 对 象 ( 文字 、 
文本 框 、 图 片 、 形 状 、 艺 术 字 、 域 、 表 格 等 ) 


失败 处 理 


文件 系统 


KE 


负载 和 压力 


配置 软件 可 能 存在 兼容 性 缺陷 


多 个 变量 的 交互 可 能 诱发 软 
件 错误 


5.5.3 James Whittaker 的 方法 


James Whittaker 的 测试 名 著 How to Break Sofiware (HTBS )， 以 失败 模型 为 基础 ， 介 绍 了 一 批 测 
试 方法 [Whittaker01]。 这 些 方法 大 多 属于 快速 测试 ， 能 够 针对 特定 类 型 的 缺陷 实施 便捷 的 攻击 。 


James 的 缺陷 模型 是 一 个 讨论 和 理解 软件 缺陷 的 框架 ， 他 使 用 该 框架 来 组 织 典 型 的 软件 失败 
和 相应 的 发 现 手段 。 如 图 5-9 所 示 ， 失 败 模式 主要 关注 点 是 环境 和 能 力 。 
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O 环境 是 软件 依赖 或 影响 的 外 部 对 象 ， 典 型 的 例子 是 人 类 用 户 、 文 件 系 统 、 操 作 系统 和 与 
之 协作 的 软件 。HTBS 写 作 于 2001 年 ， 所 以 它 主 要 考虑 了 单机 软件 的 环境 。 现 今 ， 网 络 应 
用 和 移动 应 用 已 经 成 为 主流 软件 , 测试 人 员 需 要 考虑 的 外 部 对 象 还 应 该 包括 硬件 设备 ( 如 
陀螺 仪 、 加 速 感应 器 、 光 线 感应 器 、GPS 等 ) 和 网 络 服务 。 

口 能 力 是 软件 功能 达成 用 户 价值 的 手段 ， 该 定义 与 Google ACC 的 部 件 通 过 能 力 实现 属性 的 
理念 是 一 致 的 (Google ACC 的 讨论 参见 3.2.2 节 )。HTBS 针 对 能 力 实施 测试 ， 主 要 测试 切 
人 入 点 包括 软件 的 输入 、 输 出 、 数 据 、 计 算 和 集成 。 


组 合 输入 (combinations) | 
一 一 一 一 | 通过 图 形 界面 输入 | 
人 类 用 户 输入 序列 (sequences) 


(通过 其 他 程序 由 入 ] 
| 理解 软件 处 理 的 文件 格式 | 


T 文件 系统 
一 一 一 一 一 创建 特定 内 容 的 文件 
[发 所 操作 系统 影响 软件 的 途径 
失败 模型 操作 系统 | 一 | 模拟 操作 系统 行为 | 
Lo 


使 用 调试 工具 来 辅助 测试 | 


其 他 软件 
MAJ 
mg ee 

x 数据 


“| 计算 和 集成 
图 5-9 ”失败 模型 关注 环境 和 能 


=} | |= 


James Whittaker 建 议 测试 人 员 先 实施 漫游 测试 ， 以 识别 软件 的 界面 (HTSM 一 产品 元 素 一 界 
面 ) 和 相应 的 外 部 对 象 ， 然 后 列 出 外 部 对 象 在 该 界面 上 可 以 执行 的 输入 和 观察 到 的 输出 (4.2.2 
节 讨 论 了 输入 与 输出 模型 )。 此 外 ,测试 人 员 还 需要 通过 功能 漫游 识别 出 软件 的 主要 功能 ， 列 出 
这 批 功能 所 持 有 的 数据 和 所 执行 的 计算 ， 并 理解 功能 之 间 的 依赖 和 协作 关系 。 


在 掌握 了 软件 的 基本 情况 后 , 测试 人 员 可 以 根据 错误 模型 对 软件 进行 测试 。 他 专注 于 软件 的 
一 个 界面 、 一 项 能 力 和 一 个 可 能 的 失败 ， 实 施 快 速 的 攻击 。 当 攻击 完成 后 ， 他 转向 下 一 个 目标 再 
进行 攻击 , 即 通过 一 场 场 小 规模 的 战斗 来 赢得 一 场 战 役 ( 赢得 整 场 战争 还 需要 使 用 更 多 的 测试 方 


法 )。 表 5-6 是 HTBS 所 建议 的 攻击 手段 。 
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表 5-6 HTBS 的 攻击 手段 
攻击 手段 所 针对 的 软件 失败 如 何 实施 攻击 


通过 用 户 界面 攻击 软件 的 输入 


软件 处 理 错误 输入 的 常见 方式 有 三 种 。 
。 输 入 过 滤 : 滤 除 错误 的 数据 。 


i, ae COs 

Ae OES Bee ee 采用 极限 值 测试 、 边 界 值 测试 、 非 法 值 测试 、 压 力 测试 等 
的 所 有 错 “异常 处 理 : 当 错 误 输入 产生 故障 时 ， 异 。 方法 来 测试 用 户 答 入 

ie 常 处 理 代码 会 捕获 异常 并 加 以 补救 。 


正确 地 编写 以 上 代码 需要 周密 的 思考 和 
反复 的 测试 ， 稍 有 不 慎 就 可 能 引入 缺陷 


常见 的 测试 想法 : 

不 同 的 模块 由 不 同 的 程序 员 编写 ， 他 们 。 。 接 受 所 有 默认 值 ， 然 后 提交 
可 能 期 望 不 同 的 默认 值 ， 这 种 不 一 致 性 。” 。 使 用 空 值 
会 导致 错误 。 将 默认 值 改 为 男 一 个 值 ， 然 后 再 改 回来 
。 将 默认 值 改 为 另 一 个 值 ， 然 后 改 为 空 


强制 让 软件 
使 用 默认 值 


常见 问题 。 
。 字 符 集 : 有 些 软件 只 支持 特定 编码 的 字 
符 集 , 输入 其 他 编码 的 字符 会 导致 错误 。 
探索 允许 的 。 编 程 语言 : 有 些 软件 会 将 用 户 输入 作为 。 测试 人 员 了 解 软 件 、 编 程 语言 、 实 现 技 术 、 操 作 系 统 对 字 
字符 集 和 数 ”程序 来 执行 ， 这 导致 了 许多 问题 ， 如 符 集 和 数据 的 期 望 与 限制 , 然后 使 用 对 它们 而 言 具有 特殊 
据 类 型 SQL 注入 。 含义 的 字符 串 或 数据 进行 攻击 
o HERR: 操作 系统 会 禁止 创建 一 些 特 
定名 字 的 文件 。 一 些 软件 在 西 文 操作 系 
统 上 不 能 正确 显示 中 文字 符 


常见 的 测试 想法 : 
。 输 入 超 长 的 字符 串 ， 字 符 串 最 好 类 似 于 “ 喜 贰 会 肆 伍 陆 


令 输入 缓冲 ”软件 没有 考虑 输入 值 超 长 、 超 大 的 情况 ， BRUNIA TH 12345678908”, 这 有 助 于 定位 导致 错误 
区 溢出 导致 数值 计算 溢出 或 缓冲 区 溢出 的 长 度 


。 输 入 极 大 值 ( 针对 加 法 和 乘法 计算 ) 、 负 的 极 大 值 ( 针 
对 减法 计算 ) 、 很 接近 零 的 值 (针对 除法 计算 ) 等 


当 多 个 程序 员 共同 开发 一 段 代 码 时 

PEE a Oaai D E a i 

sym fe. h, RRB Reece 量 ， 它 们 通常 属于 同一 个 数据 结构 或 参与 到 同一 项 计算 

AEE uea Po E, 根据 软件 使 用 它们 的 方式 设计 测试 用 例 。 此 外 ， 
er i 也 可 以 使 用 4.1 节 介绍 的 组 合 测试 工具 来 产生 测试 用 例 


测试 人 员 反 复 执 行 一 些 消 耗 较 多 资源 的 操作 , 或 反复 执行 
一 些 产 生 大 量 数据 的 操作 。 例 如 ， 在 测试 在 线 商 城 时 ， 测 
试 人 员 持 续 向 购物 车 中 添加 货品 , 创建 出 一 个 包含 许多 商 
品 的 “超级 订单 ”。 该 订单 可 能 导致 提交 失败 ,或 令 未 来 
的 订单 处 理 遇 到 困难 


重复 输入 软件 可 能 不 了 解 它 在 空间 和 时 间 上 的 限 
多 次 制 ， 当 重复 操作 耗 尽 其 资源 时 ， 它 会 失败 


" 131 


5# 


QF 


测试 技术 


攻击 手段 


所 针对 的 软件 失败 


如 何 实施 攻击 


通过 用 户 界面 攻击 软件 的 输出 


Th 


软件 的 输出 不 仅 取决 于 输入 ， 还 取决 


测试 人 员 需 要 咨询 领域 专家 、 产 品 经 理 和 程序 员 , 以 了 解 


a 其 内 部 状态 、 所 依赖 的 外 部 数据 和 程序 。 ”软件 的 业务 规则 和 代码 实现 。 然 后 ,通过 测试 来 建立 软件 
MEAO MELEE IGS RMR, 的 和 型， 如 42.2 节 讨论 的 输入 与 输入 模 理 、4.2.5 节 讨论 的 
ee 软件 很 可 能 在 用 户 输入 、 自 身 状态 、 外 ”状态 机 模型 等 ， 以 掌握 软件 如 何 处 理 外 部 因素 和 内 部 状 
本 部 依赖 的 共同 作用 下 失败 态 。 在 此 过 程 中 ， 他 用 该 攻击 方法 来 探测 软件 的 缺陷 
eet om ean ERRE, 测试 人 员 可 以 采用 与 上 一 条 攻击 相似 的 测试 流 
mapp PUENTA 。 许 多 测试 人 得 ,通过 迁 代 的 学 习 、 建 模 和 攻击 来 寻找 缺陷 。 不 同 之 处 
KATE 局 觉得 这 种 思考 方式 不 自然 。 同 样 ， 程 NI ee 
TEM E g “在 于 本 攻击 更 强调 景 韦 输 出 错误 。 例 如 ， Wik EET 
输出 £ ， 板 时 ， 测 试 人 员 先 选择 半年 的 ?月 29 日 ， 然 后 点 击 “ 下 _- 


了 一 些 特 殊 情 况 ， 而 埋 下 


年 ”。 那 么 日 期 选择 玫 


板 会 显示 非 羡 年 的 2 月 29 日 吗 


强制 一 个 输 


有 些 输 出 包含 多 个 属性 , 例如 PowerPoint 
妈 片 时 就 需要 考虑 原 对 象 的 色 


测试 人 员 令 输出 包含 各 种 属性 ,然后 逐一 调整 属性 ,并 检 


查 新 的 输出 。 在 调 


整 属性 时 , 要 重点 考虑 极限 值 、 非 法 值 


彩 、 对 比 度 、 亮 度 、 特 效 、 边 框 等 属性 。 m a pa 
mE A AO 。 和 数据 性 质 的 变化 。 例 如 ， 属 性 的 效果 从 无 到 有 CHEI 
生变 化 ARDIAN SURAOS) 或 从 有 到 无 (比如 其 数值 从 ! 变 化 到 0 

ome ae! 很 可 能 会 对 输出 结果 产生 重要 影响 

加 (3 一 

TIL ae a A 。 a, oe are 
MERA Omm 测试 人 员 增加 、 盎 除 、 移 动 屏幕 上 对 象 ， 调 束 软 件 的 办 
和布 局， 改变 其 窗口 大 小 和 位 置 ， 在 此 过 各 中 密切 关注 软件 
ce cmt E — WSCATTEMDE, BUTSA. DERELER SAE, 


情景 中 失败 


不 正常 的 情况 


通过 用 户 界面 探索 存储 的 数据 


针对 一 组 变 


软件 在 检查 用 


户 输入 时 可 能 没有 考虑 


该 攻击 与 “强制 软件 对 相同 的 输入 产生 不 同 的 结果 ”相似 ， 


， 可 采用 相似 的 测试 流程 。 不 同 之 处 在 于 ,之 前 的 攻击 强调 
4 初始 状 4 状态 ， 而 放 过 了 一 些 ee Hy Se 

N T ETRARIIA 细致 地 探索 软件 ， 通 过 设置 软件 状态 来 产生 特定 的 输出 。 
nil 本 攻击 强调 设置 软件 状态 来 让 用 户 输入 产生 失败 

固定 长 度 的 数据 结构 (如 数组 ) 只 能 容 。 常见 的 测试 想法 : 
强制 一 个 数 ” 纳 特定 数目 的 对 象 。 动 态 数据 结构 能 够 ne ere eres 

o [njJ— 结构 中 连续 添 ， 直 至 软件 提示 容器 已 

氟 结构 容纳 ”申请 内 存 去 容纳 更 多 的 对 象 ， 并 在 所 容 “人 
过 多 或 过 少 ” 纳 的 对 象 减少 时 归还 内 存 ， 这 带 来 了 更 iets 
的 数据 复杂 的 代码 。 测 试 人 员 需 要 检查 这 些 数 。 。 取出 一 个 数据 结构 中 的 数据 ， 下 至 软件 提示 容 澡 已 空 或 


据 结构 可 以 正确 处 理 数据 的 变化 


暴露 出 错误 


发 现 可 以 修 
改 数据 的 所 
有 可 行 方法 


如 果 软 件 提供 了 多 种 方法 修改 其 内 部 数 
据 ， 程 序 员 需 要 对 每 种 方法 实施 正确 且 一 
致 的 检查 。 在 软件 开发 和 维护 过 程 中 ， 该 
一 致 性 可 能 被 破坏 ， 以 至 于 某 些 方法 缺少 
一 些 重要 的 检查 


测试 人 员 探 索 软件 


， 了 解 软 件 对 数据 的 约束 ， 然 后 尝试 各 


种 方法 去 绕 过 数据 约束 。 例 如 ， 制 表 功 能 只 允许 搬入 256 行 
的 表格 ， 测 试 人 员 可 以 先 搬 人 256 行 的 表格 ， 然 后 通过 “ 搬 
入 行 ” 功 能 来 突破 限制 
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5.5 ”快速 测试 
( 续 ) 
攻击 手段 所 针对 的 软件 失败 如 何 实施 攻击 
通过 用 户 界面 探索 计算 和 功能 集成 
“ 除 零 ” 错 误 是 由 除法 运算 符 和 操作 数 0 


尝试 非法 的 


涡 信 政和 各。 共同 作用 引发 的 异常 程序 员 可 能 检查 了 测试 人 员 探索 软件 ,了解 软件 所 使 用 的 计算 ,针对 它们 的 
作答 的 组 人。 此 类 典 理 的 非法 组 合 ,但 可 能 漏 过 了 其 他 特点 实施 攻击 
非法 组 合 
Eh E Kir FE et ERY Hao ky 
测试 人 员 漫游 软件 ， 列 出 可 能 包含 递归 的 功能 ,然后 想 办 
强制 一 个 函 。 ae mnagab erty agg, 法 让 它 天 上 境地 谱 归 下 去 。 例 如 测试 文 档 编辑 软件 时 ， 
goag o E EAA EAN EA 在 图 文 框 中 持 绪 持 入 模 套 图 文 杠 , 使 可 套 层次 持续 增长 直 
z CIT SCR MAAIE 至 出 错 。 又 例如 ,在 正文 中 插入 脚注 ,然后 在 脚注 中 插入 
RELA ASSR I> SPUN HE cas 
溢出 异常 站 
强制 计算 7 过 7 或 过 小 的 结构 者 可 能 造成 溢 呈 销 误 。 。 该 攻击 与 “ 令 输入 缓冲 区 溢出 ”相似 ， 基 本 测试 要 法 是 输 
EAMA HOD, BETAS NIE BINT, 入 极限 值 和 特殊 值 , 并 通过 连续 操作 令 数值 趋向 极 大 值 吉 
果 或 过 小 的 。 当 这 些 结果 传递 给 其 他 功能 时 ， 那 些 功能。 全 小 人 
结果 可 能 会 遭遇 失败 
Ke: 并 训 数据 或 人 此 协作 的 功能 需要 遵守 一 基本 的 测试 入 法 是 用 一 个 功能 去 影响 男 一 个 功能 的 输入 、 
请 分 数据 。 组 约定 。 当 不 同 的 人 编写 这 些 模 岂 时 , 他 输出、 数据 和 计算 。 由 于 软件 的 功能 很 多 ， 测 斌 人员 沉 
I TTEA RASSE 聚焦 于 用 户 价值 像 丰 实用 户 那样 使 用 软件 , 在 此 过 程 中 ， 
OO ee 通过 仔细 地 观察 和 发 散 地 思考 ， 识 别 相互 关联 的 功能 ， 并 
码 修改 也 容易 破 环 实现 的 一 至 性 进行 攻击 
通过 文件 系统 实施 基于 介质 的 攻击 
测试 人 员 探 索 软 件 ,识别 出 读 写 文件 系统 的 操作 ,然后 未 
一 测试 这 些 操作 。 在 具体 操作 之 前 ， 他 需要 耗 尽 文件 系统 
程序 员 可 能 从 没有 思考 过 存储 空间 耗 尽 。 的 资源 ， 以 制造 极限 的 情况 。 典 型 的 情况 包括 以 下 几 种 : 
耗 尽 文 件 系 。 等 情况 ， 因 此 软件 不 能 正确 处 理 该 异常 。 。 磁 盘 空间 耗 尽 
统 的 能 力 。 此外, 单元 测试 较 难 甬 发 此 交情 况 ,因此 。 。 磁 盘 被 写 保护 
开发 者 测试 可 能 漏 掉 了 该 问题 。 驱 动 器 中 没有 盘 片 
。 读 卡 器 中 没有 存储 卡 
。 访 问 拒绝 
常见 的 测试 起 法: 
强迫 介质 忙 。 使 用 工具 快速 读 写 磁盘 ， 令 磁盘 要 
碌 或 不 可 访 软件 不 能 很 好 地 处 理 此 类 极端 情况 。 使 用 网 络 工具 限制 计算 机 带宽 ， 降 低 软件 访问 网 络 磁盘 
fa 的 春 吐 量 
。 使 用 工具 耗 尽 操作 系统 的 文件 名 本 
介质 损坏 。 。 软件 不 能 很 好 地 处 理 此 类 极端 情况 ee a 
在 本 类 攻击 中 ， 因 为 有 些 情 景 不 容易 手工 创建 ，James Whittaker 使 用 一 款 工具 (Canned Heat ) 来 模拟 出 文件 系统 
的 异常 情况 。 不 幸 的 是 ， 该 工具 的 开发 与 维护 已 经 停止 了 。 目 前 ， 在 Windows 平 台 上 拥有 相似 功 能 的 软件 是 微软 


的 Application Verifier, 它 功 能 强大 , 但 入 门 难度 较 高 。 不 过 , 测试 人 员 可 以 编写 一 些小 程序 来 模拟 出 类 似 


的 情况 。 


5 153° 


i 


第 5 章 测试 技术 


( 续 ) 
攻击 手段 所 针对 的 软件 失败 如 何 实施 攻击 
通过 文件 系统 实施 基于 文件 的 攻击 
计较 件 夫 产 。 扣 作 系统 对 文件 命名 有 一 组 规定 ， 软 件 应 网 
Hite ae 该 对 用 户 提供 的 软件 名 实施 相同 的 约束 。 ”测试 人 员 需 要 学 习 操作 系统 对 文件 名 的 约束 ,然后 构造 非 
a 如 果 它 不 加 检查 就 去 产生 非法 的 文件 名 ， 法 文件 名 去 攻击 软件 
就 会 遭遇 失败 
测试 人 员 探索 软件 , 识别 出 软件 会 读 写 的 文件 。 在 软件 访 
问 该 文件 之 前 ,修改 其 访问 权限 。 常 见 的 测试 想法 包括 以 
改变 文 件 沪 软件 在 访问 文件 时 可 能 遭遇 多 种 异常 如 PILAR 
mika 。 ”里 程 序 员 没 有 思考 过 相关 情况 ， 软 件 将 不 。 将 文件 属性 修改 为 只 读 
能 正确 地 处 理 这 些 异常 。 将 文件 属性 修改 为 可 读 写 


。 将 文件 的 所 有 者 修改 为 其 他 用 户 或 用 户 组 
。 用 其 他 软件 打开 该 并 锁 住 该 文件 
常见 的 测试 想法 : 

。 测 试 人 员 以 一 个 正确 的 文件 为 起 点 ， 逐 个 修改 其 字段 ， 
以 测试 软件 对 它们 实施 了 正确 的 检查 


软件 应 该 检查 从 文件 中 读 取 的 值 ， 并 报告 
遇 到 的 错误 。 不 正确 的 文件 解析 和 检查 将 
Barn 导致 软件 故障 。 此 外 ， 黑 客 也 会 用 文件 了 
oo， 。 测 试 人 员 破 环 文件 的 结构 ， 以 测试 软件 能 否 正确 地 容忍 
的 过 程 中 出 错 ， 然 后 被 引导 去 执行 恶意 代 。 错误 或 报告 文件 异常 l 
i 。 测 试 人 员 利用 模糊 测试 工具 产生 大 量 的 破损 文件 让 软件 

读 取 ， 以 暴露 隐藏 的 缺陷 


fial 


通过 软件 或 操作 系统 进行 攻击 


测试 人 员 制 造 一 系列 操作 系统 或 被 依赖 软件 的 错误 ,以 检 
本 条 月 可 能 下 能 要 关外 再 昌 作 条 统 世 灾民。 查 软件 能 香 处 理 。 常 见 的 测试 想法 包括 以 下 几 种 : 
ee 。 制 造 或 模拟 内 存 错误 
- 。 制 造 或 模拟 网 络 错误 


。 制造 或 模拟 被 依赖 软件 的 异常 


由 以 上 介绍 可 知 ，HTBS 的 内 容 是 一 组 典型 的 软件 失败 情景 和 相应 的 攻击 手段 。James 
Whittaker 用 环境 和 能 力 为 框架 ,将 它们 有 条 理 地 组 织 起 来 ， 以 便于 学 习 、 交 流 和 应 用 。 在 测试 工 
EP, 测试 人 员 应 该 收集 典型 的 缺陷 , 分 析 它 的 原因 和 症状 , 并 设计 相应 的 测试 方法 或 启发 式 指 
导 词 。 一 段 时 间 后 , 他 可 以 用 一 个 框架 来 组 织 这 些 方法 和 指导 词 ， 并 将 成 果 分 享 给 测试 小 组 的 其 
他 成 员 。 通 过 有 针对 性 的 测试 设计 和 相互 学 习 ， 测 试 小 组 可 以 更 有 效 地 发 现 产 品 的 问题 。 


5.6 ”情景 测试 
情景 是 一 个 连贯 一 致 的 故事 , 描述 了 特定 用 户 如 何 使 用 软件 。 情 景 测试 将 一 个 或 一 组 情景 作 
为 测试 方案 ， 通 过 运行 软件 来 排演 这 些 故事 ， 从 而 评估 软件 的 行为 区 anerl1]。 


情景 测试 的 主旨 是 从 实际 用 户 的 角度 考察 软件 在 现实 场景 中 的 表现 。 软 件 产品 是 一 项 解决 方 
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5.6 情景 测试 


案 , 它 帮助 用 户 完成 困难 的 任务 ， 并 达成 业务 目标 。 其 解决 问题 的 能 力 来 自 于 一 组 相互 支持 的 部 
件 和 功能 。 为 了 检查 软件 的 能 力 ,情景 测试 通过 较 长 的 业务 流程 来 测试 软件 的 多 个 功能 ， 从 而 整 
体 评估 软件 对 用 户 的 价值 。 因为 情景 测试 不 局 限于 特定 的 功能 , 并 站 在 用 户 的 立场 更 全 面 地 考察 
软件 ， 所 以 它 可 以 发 现 一 些 整 体 设计 上 的 缺陷 。 此 外 ,情景 测试 覆盖 了 多 个 功能 ， 因 此 有 可 能 雪 
露出 一 些 复杂 交互 导致 的 错误 。 


5.6.1 基本 方法 

如 果 缺 少 测试 主题 的 指引 , 长 流程 的 情景 测试 可 能 会 偏离 方向 ， 变 成 漫 无 目的 地 游览 。 为 了 
有 效 利 用 时 间 ， 明 确 测试 方向 ,测试 人 员 需 要 构思 一 个 (或 一 组 ) 用 户 使 用 软件 的 故事 ,然后 围 
绕 故 事 组 织 测 试 活动 。 以 下 是 一 个 案例 。 

Microsoft Lync 是 一 款 企业 级 的 统一 通讯 平台 ”"， 支 持 多 种 形式 的 即时 通讯 和 在 线 会 议 。 为 了 
测试 如 图 $-10 所 示 的 Lync 会 议 功能 ， 测 试 人 员 编 写 了 如 下 故事 ， 作 为 情景 测试 的 大 纲 。 
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< 


Brian Crum 是 Contoso 公 司 的 一 位 经 理 。 周一 , 他 打算 组 织 一 个 在 周 五 举行 的 视频 会 
议 ， 邀 请 本 公司 在 其 他 地 区 的 同事 参与 ， 共 同 讨论 下 一 季度 的 产品 营销 策略 。 他 在 
Outlook 创 建 了 一 个 Lync 会 议 的 日 程 安排 (包含 会 议 议程 、 参 与 会 议 的 拨 入 号 码 、 启 动 
Lync 的 链接 等 )， 发 送 给 8 个 同事 。 周三， 他 用 Outlook 更 新 了 会 议 安 排 ,添加 了 更 详细 
的 会 议 议程 ， 并 多 邀请 了 两 个 同事 参加 会 议 。 周 五 ， 他 在 会 议 前 5 分 钟 打开 笔记 本 电脑 ， 
点 击 启动 Lync 的 链接 ,登录 到 Lync 会 议 中 。 他 检查 了 摄像 头 、 麦 克 风 和 耳机, 一 切 正常 。 
不 久 ， 一 些 同事 陆续 进入 会 议 ，Brian 通 过 语音 通讯 向 他 们 问好 ， 并 确认 他 们 可 以 看 到 
他 分 享 的 PowerPoint 幻 灯 片 和 摄像 头 视频 流 。 等 到 所 有 与 会 者 到 齐 ， 他 开始 会 议 ， 讲 解 
下 个 季度 的 营销 策略 ， 并 在 Lync 中 播放 相应 的 PowerPoint 幻 灯 片 。 在 此 过 程 中 ， 同 事 们 
通过 即时 消息 或 语音 通讯 提出 一 些 问 题 ， 他 一 一 给 予 回答 。 当 回答 一 个 复杂 问题 时 ， 他 
调 出 Lync 会 议 的 和 白板， 用 电子 笔 透 过 和 触摸 屏 在 白板 上 绘制 草图 ， 进 行 详细 解释 。 然 后 ， 

他 切换 回 PowerPoint 幻 灯 片 ， 继 续 讲 解 。 讲 解 完 毕 后 ， 作 为 会 议 组 织 者 的 Brian 将 演示 权 
赋予 同事 Alex， 让 他 成 为 演示 者 。Alex 用 Lync 展 示 了 他 的 第 二 个 屏幕 ， 开 始 演示 产品 的 
新 特性 。 与 此 同时 ，Brian 在 Lync 会 议 中 附 上 一 些 报表 ， 以 便 与 会 者 下 载 参 考 。 等 Alex 
结束 演示 ，Brian 重 新 主持 会 议 ， 感 谢 同事 Ken Meyer 进 行 了 会 议 记 录 ， 并 提示 大 家 参考 
共享 的 OneNote 会 议 纪要 。 在 获得 大 家 认可 后 ， 他 结束 了 Lync 会 议 。Brian 对 Lync( 及 其 
服务 器 ) 在 会 议 中 的 表现 感到 满意 ， 愿 意 下 次 继续 使 用 Lync 来 召开 视频 会 议 。 


这 是 一 个 很 复杂 的 故事 ， 通 过 举办 多 人 参与 的 视频 会 议 ， 测 试 了 产品 家 族 的 一 组 功能 。 


O 在 Outlook 中 创建 并 更 新 Lync 会 议 的 日 程 安 排 ， 测 试 了 Outlook 与 Lync 的 集成 。 
口 使 用 日 程 安排 的 链接 启动 Lync， 测 试 了 Lync 会 议 的 启动 。 

口 在 多 人 会 议 中 ， 通 过 视频 、 语 音 、 文 字 等 进行 交流 ， 这 可 能 暴露 一 些 点 对 点 通讯 所 不 能 
发 现 的 缺陷 。 

口 使 用 Lync 播 放 PowerPoint 约 灯 片 ， 测 试 了 Lync 对 内 骨 多 媒体 的 支持 。 

口 使 用 Lync 白 板 绘制 草图 ， 测 试 了 Lync 对 触摸 屏 和 电子 墨水 的 支持 。 

口 测试 了 Lync 中 PowerPoint 与 白板 的 来 回 切换 。 

O 让 他 人 演示 程序 ， 测 试 了 会 议 控制 权 和 视频 画面 的 切换 。 

O 使 用 Lync 共 享 第 二 个 桌面 ， 测 试 了 Lync 对 多 显示 需 的 支持 。 

口 组 织 者 上 传 文件 让 与 会 者 下 载 ， 测 试 了 Lync 对 附件 上 传 和 下 载 的 支持 。 

口 使 用 OneNote 记 录 会 议 内 容 ， 测 试 了 Lync 与 OneNote 的 集成 。 


在 获得 该 故事 之 后 ,测试 人 员 要 做 一 些 测试 准备 。 首 先 ,他 邀请 测试 同事 参与 情景 测试 ， 向 
他 们 讲解 故事 和 测试 要 点 ， 并 安排 每 位 测试 人 员 扮 演 一 个 或 两 个 与 会 者 。 然 后 ， 他 准备 11 台 计算 
机 ， 并 搭建 测试 环境 。 这 11 台 计算 机 的 软 硬 件 配置 要 尽 可 能 的 差异 化 , 例如 : 有 些 计 算 机 拥有 高 
性 能 处 理 器 和 大 内 存 ， 有些 计 算 机 上 只 拥有 过 时 的 处 理 咒 和 小 内 存 ; 有 些 台式 机 拥有 外 置 的 高 清 摄 
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像 头 、 高 档 耳 机 和 麦克 风 ， 有 些 笔记 本 电脑 只 拥有 分 辩 率 很 低 的 内 置 摄像 头 、 效 果 一 般 的 内 置 麦 
到 风 与 音响 ;有 些 计算 机 用 电缆 接 和 人 高 速 网 络 ， 有 些 计算 机 接 和 人 无 线 网 络 ( Wi-Fi 网 络 、3G 网 络 
等 )。 这 样 做 的 目的 是 尽 可 能 模拟 出 各 类 用 户 接 入 Lync 会 议 时 实际 使 用 的 设备 和 网 络 。 


在 实际 测试 时 ， 每 位 测试 人 员 在 独立 的 房间 中 扮演 各 自 的 角色 ， 以 模拟 出 远程 会 议 的 特点 。 
他 们 执行 相应 的 操作 ， 并 密切 注意 任何 异常 情况 ， 如 视频 的 闪烁 、 约 灯 片 播放 的 停顿 、 音 频 的 
爆 音 等 。 如 果 一 位 测试 人 员 发 现 问题 ， 他 会 用 Lync 通 知 测试 小 组 暂停 测试 ， 以 便 他 收集 本 机 或 
服务 端的 日 志 、 内 存 转 储 、 硬 件 配置 等 信息 ， 从 而 报告 问题 的 技术 细节 。 此 外 ， 测 试 小 组 还 可 
以 根据 他 遇 到 的 问题 ， 构 思 出 几 个 小 的 故事 ， 再 做 一 些 额 外 的 调查 ， 以 获得 更 多 的 信息 。 在 一 
个 长 流程 的 情景 测试 中 ， 和 暂时 偏离 测试 方案 ,做 一 些 短暂 的 攻击 ， 是 常见 的 测试 策略 。 这 有 助 
于 抓 住 测试 中 偶然 发 现 的 信息 ， 发 掘 出 有 价值 的 信息 或 隐藏 的 缺陷 。 一 段 时 间 后 ， 测 试 组 织 
应 该 提示 测试 小 组 回 到 原先 的 故事 继续 测试 。 如 果 测 试 延续 的 时 间 很 长 , 测试 小 组 可 以 中 途 休息 
一 会 , 一 起 吃 点 东西 喝 点 饮料 ， 并 讨论 接 下 来 的 测试 重点 。 在 测试 结束 后 ， 每 位 测试 人 员 提 交 
所 发 现 的 缺陷 , 测试 组 织 者 编写 测试 报告 ,概述 测试 过 程 和 履 盖 范 围 ,， 并 提出 值得 进一步 调查 的 
问题 和 风险 。 


以 上 案例 是 一 个 多 人 参与 的 情景 测试 ， 其 基本 要 点 和 步 又 也 适用 于 单 人 执行 的 情景 测试 。 


O 编写 情景 测试 的 故事 ， 像 用 户 一 样 复杂 地 使 用 产品 。 

O 准备 测试 环境 ， 尽 可 能 模拟 出 用 户 的 使 用 环境 。 

O 在 故事 指引 下 ， 积 极地 测试 ， 并 根据 测试 发 现 ， 即 席 设 计 并 执行 一 些 测试 。 故 事 是 地 图 ， 
如 何 具体 地 探索 需要 测试 人 员 来 动态 导航 。 

口 测试 人 员 提 交 缺 陷 报告 ， 并 记录 需要 再 调查 的 区 域 和 风险 。 


在 整个 测试 准备 和 执行 过 程 中 ， 测 试 人 员 就 像 是 集 编剧 、 导 演 和 主演 于 一 身 的 电影 工作 者 。 
首先 ,他 像 编剧 一 样 书写 测试 剧本 , 安排 情节 大 纲 , 构思 出 引人入胜 的 故事 。 然后 , 他 成 为 导演 ， 
筹措 测试 需要 的 资源 ， 并 总 探测 试 进程 。 在 具体 测试 时 ,他 像 演员 一 样 去 推敲 剧 中 人 物 的 特点 和 
风格 ， 既 参考 现 有 剧本 ， 又 即兴 发 挥 ， 在 故事 的 留 白 处 尽情 演绎 。 有 时 ， 他 会 回 到 导演 的 角度 ， 
临时 加 一 场 戏 ， 以 更 生动 地 展开 故事 ， 或 者 反思 全 局 ， 以 动态 调整 故事 的 发 展 方向 。 


Cem Kaner 对 于 情景 测试 有 长 期 且 深 入 的 研究 。 他 提出 ， 一 个 好 的 情景 测试 通常 会 具有 如 下 
EVAN 
特征 [Kanerl1]。 


口 基于 连贯 一 致 的 故事 。 情 景 测试 描述 了 用 户 如 何 使 用 软件 ， 并 关注 他 们 的 目标 和 情感 。 
为 此 ， 测 试 人 员 需 要 思考 并 确定 用 户 的 特点 、 他 们 的 目标 、 他 们 使 用 软件 方式 、 他 们 在 
故事 中 的 情绪 等 要 素 。 

口 故事 是 可 信 的 。 当 测试 人 员 将 故事 描述 给 项 目 关系 人 ， 他 们 会 认为 故事 很 可 能 发 生 在 用 
户 环境 中 。 这 并 不 意味 着 故事 只 能 履 盖 产品 的 快乐 路 径 ， 而 是 要 求 测试 人 员 深刻 理解 用 
户 的 任务 和 环境 ， 构 思 出 有 洞察 力 的 故 寻 
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口 故事 是 有 推动 力 的 。 当 测试 人 员 报 告 故事 所 发 现 的 缺陷 ， 项 目 关 系 人 会 认为 修复 该 缺陷 
是 值得 的 。 为 此 ， 测 试 人 员 可 以 用 一 些 启 发 式 问题 来 帮助 故事 设计 : 谁 会 重视 这 个 故事 
描述 的 情景 ? 他 们 为 什么 会 重视 这 个 情景 ? 如 果 该 情景 失败 ， 它 会 影响 到 谁 ” 失 败 造 成 
的 最 严重 后 果 是 什么 ?如 果 该 情景 失败 ， 用 户 有 没有 替代 方案 ”如 果 替 代 方 案 与 被 测 产 
品 无 关 ， 那么 用 户 为 什么 要 使 用 该 产品 ? 

口 故事 引入 了 复杂 性 。 测 试 人 员 在 复杂 的 环境 中 以 复杂 的 方式 使 用 软件 。 故 事 的 复杂 性 根 
源 于 现实 情景 的 复杂 性 ， 采 访 用 户 了 解 他 们 的 实际 遭遇 、 使 用 他 们 的 真实 数据 、 模 拟 他 
们 的 操作 环境 ,都 有 助 于 制定 复杂 且 可 信 的 故事 。 

口 测试 结果 易于 评估 。 测 试 人 员 和 项 目 关系 人 能 够 轻松 地 判断 测试 结果 并 识别 潜在 的 问题 ， 
这 对 于 复杂 的 故事 尤为 重要 。 使 用 5.3 节 介绍 的 基于 一 致 性 的 测试 先知 和 基于 约束 规则 的 
测试 先知 ， 能 够 较 快速 地 判定 测试 结 


Cem Kaner 还 指出 情景 测试 能 够 超越 简单 的 测试 ,深入 地 调查 软件 是 否 能 交付 它 应 该 交付 的 
价值 Kanerl1]。 有 一 些 测试 方法 能 够 发 现 用户 在 实际 使 用 的 头 几 天 会 发 现 的 缺陷 。 例 如 , 超 模 漫 
游 专注 于 用 户 界面 的 测试 ， 旨 在 快速 发 现 控件 、 文 字 、 动 画 等 在 视觉 呈现 上 的 错误 。 如 果 此 类 错 
误 被 研发 团队 忽视 ,它们 很 快 会 被 用 户 察 觉 ， 而且 软 件 的 用 户 越 多 ,发 现时 间 越 得 。 好 的 情景 测 
试 则 可 以 发 现 资深 用 户 才 会 遇 到 的 问题 。 这 批 用 户 长 时 间 的 使 用 产品 , 积累 了 几 个 月 甚至 几 年 的 
经 验 , 会 利用 它 完成 重大 的 工作 。 和 情景 测试 有 助 于 “浓缩 ”使 用 时 间 和 用 户 经 验 ， 在 较 短 的 时 间 
内 模拟 出 资深 用 户 的 高 级 用 法 、 困 难 使 命 和 复杂 语 境 ， 发 现 软件 的 深层 次 问题 。 


因为 情景 测试 会 覆盖 多 个 功能 ， 它 要 求 被 测试 的 功能 比较 稳定 ， 较 少 出 现 阻 碍 故事 推进 的 严 
重 错误 。 因 此 , 测试 人 员 需 要 在 功能 级 别 做 足够 的 测试 , 使 单独 的 功能 足够 稳定 , 然后 做 一 些 集 成 
级 别 的 测试 , 使 功能 协作 足够 流畅 ,之 后 才 进行 长 流程 的 情景 测试 。 这 说 明 测 试 人 员 需 要 利用 多 种 
测试 技术 , 在 功能 、 集 成 、 系 统 等 层面 进行 有 针对 性 的 测试 , 才能 逐步 完成 对 软件 产品 的 严密 测试 。 


5.6.2 ”设计 用 户 角色 


情景 测试 的 核心 是 情景 , 即 一 个 连贯 一 致 的 故事 。 一 个 好 的 情景 将 帮助 测试 执行 更 有 效 地 探 
索 产 品 。 本 闻 将 介绍 一 些 编写 情景 的 方法 和 技巧 。 


情景 是 讲述 一 位 (或 几 位 ) 用 户 的 故事 ， 因 此 测试 人 员 需 要 全 面 地 理解 用 户 ， 了 解 其 使 用 软 
件 的 目的 、 需 要 完成 的 任务 和 的 操作 软件 的 特征 。 用 户 角色 是 一 种 常见 的 用 户 建 模 方法 ,能够 帮 
助 测试 人 员 从 用 户 的 角度 思考 软件 。 开 发 专家 Mike Cohn 提 出 了 一 种 构建 用 户 职责 的 方法 ， 可 以 
有 效 地 描绘 出 产品 需要 支持 的 人 群 ， 并 自然 衍生 出 用 户 角 色 [Cohn04]。 基 于 该 方法 ,测试 人 员 可 
以 按 如 下 步骤 构建 用 户 角 色 。 


口 利用 头脑 风暴 ， 列 出 可 能 的 用 户 角色 。 测 试 小 组 (或 项 目 团 队 ) 组 建 “ 用 户 角 色 工 作 小 
组 ”， 进 行头 脑 风暴 会 议 ， 列 出 一 组 产品 的 用 户 角 色 。 所 谓 用 户 角 色 是 一 个 可 以 代表 一 组 
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用 户 的 人 物 ， 他 反应 了 一 个 用 户 群 所 共有 的 特征 。 在 这 个 阶段 ， 与 会 者 的 目标 是 记录 尽 
可 能 多 的 用 户 角 色 ， 而 不 必 在 意 这 些 用 户 是 否 重 又 、 所 代表 用 户 群 的 是 否 庞大 、 对 产品 
成 功 是 否 重要 等 因素 。 


口 整理 初始 的 用 户 角色 ， 识 别 出 目 标 和 特征 有 重 全 的 用 户 角 色 。 
口 整合 用 户 角色 。 如 果 两 个 角色 有 重 关 ， 可 以 创建 一 个 新 的 角色 来 涵盖 他 们 的 特征 。 如 果 


两 个 角色 很 相似 ， 可 以 舍弃 其 中 一 个 角色 ， 让 保留 的 角色 反映 其 特征 。 此 外 ， 工 作 小 组 
还 应 该 舍弃 对 产品 成 功 不 太 重 要 的 角色 ， 以 便 将 精力 集中 在 重要 的 角色 上 。 


口 提炼 用 户 角色 ， 定 义 具 体 的 角色 特征 。 所 谓 角色 特征 是 将 该 角色 与 其 他 角色 区 别 开 的 事 


实 ， 常 见 的 特征 包括 : 使 用 产品 的 目的 、 使 用 产品 的 频率 、 对 业务 领域 的 熟悉 程度 、 对 
计算 机 的 熟悉 程度 、 对 产品 的 了 解 程度 等 。 

添加 角色 的 个 人 信息 ， 如 姓名 、 照 片 、 脾 气 、 处 事 风 格 等 ， 令 角色 “有 血 有 肉 ”。 用 户 使 
用 产品 时 总 带 有 个 人 特色 和 主观 情绪 ， 而 好 的 软件 应 该 做 到 善 解 人 意 。 


以 上 用 户 建 模 的 结果 是 一 组 产品 需要 重点 支持 的 用 户 角色 。 例 如 ，PowerPoint 的 测试 人 员 经 
过 分 析 和 提炼 ， 可 能 获得 如 下 用 户 角 色 。 他 们 覆盖 了 不 同类 型 的 用 户 群 ,能够 传递 出 目标 用 户 对 
软件 的 期 望 。 


~ 


Alex 是 一 位 职业 演说 家 ，38 岁 ， 男 性 ， 经 常 在 各 地 的 大 型 场馆 做 演讲 。 他 使 用 电子 
幻灯 片 来 增强 演说 的 感染 力 。 对 他 而 言 ， 他 本 人 才 是 演说 唯一 的 主角 ， 所 以 他 的 幻灯 片 
看 上 去 总 是 很 简洁 。 实 际 上 ， 他 会 对 幻灯 片 的 每 一 个 细节 反复 推 喜 ,以 求 最 佳 效 果 。 他 
会 放大 文字 的 尺寸 ,让 坐 在 远 处 的 观众 也 可 以 轻松 阅读 。 他 会 使 用 高 分 辨 率 的 图 片 ， 以 
便 在 投影 放大 后 图 片 依然 清晰 动人 。 他 会 要 求 每 个 页 面 的 配色 都 和 幻灯 片 整体 协调 一 
致 ， 不 过 有 时 他 会 故意 引入 醒目 的 颜色 来 增强 演说 的 戏剧 效果 。 他 对 PowerPoint 的 一 部 
分 功能 很 了 解 ， 为 了 优质 的 幻灯 片 ， 他 会 深入 尝试 他 感 兴 趣 的 功能 , 但 是 他 需要 花 更 多 
的 时 间 在 演讲 的 研究 、 构 思 和 排演 中 。 


Cameron 是 一 位 商业 分 析 师 ，28 岁 ， 男 性 ， 几 乎 每 周 都 利用 电子 幻灯 片 向 客户 讲解 
其 研究 报告 的 精华 部 分 。 他 工作 积极 ,动作 很 快 ， 是 Microsoft Word, Excel, PowerPoint 
和 OneNote 的 重度 用 户 。 他 会 用 OneNote 保 存 他 收集 的 各 种 资料 、 链 接 、 素 材 和 临时 的 
想法 ,用 Excel 做 数据 分 析 , 用 Word 编 写 研究 报告 ,用 PowerPoint 展 示 来 自 OneNote Excel, 
Word 的 图 片 、 表 格 、 数 据 图 等 对 象 。 在 编辑 幻灯 片 时 ， 他 会 同时 启动 多 个 应 用 程序 ， 
将 大 量 的 内 容 “搬运 ”到 PowerPoint 中 ， 并 实施 必要 的 后 续 编辑 。 最 后 得 到 的 幻灯 片 页 
BAS, ABE SH, 文件 尺寸 巨大 。 有 时 ,他 会 邀请 同事 共同 编辑 一 个 幻灯 片 文件 ， 
让 更 多 的 数据 和 观点 得 到 呈现 。 总 体 上 ， 他 对 PowerPoint 的 方方面面 都 很 了 解 ， 能 够 熟 
练 运用 大 部 分 功能 ， 并 拥有 很 强 的 学 习 能 力 。 由 于 工作 压力 很 大 ， 他 比较 没有 耐心 ， 
当 产 品 反应 迟钝 或 出 现 漫长 的 进度 条 时 ， 他 会 显得 有 些 焦 躁 。 
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Stephanie 是 一 个 大 学 生 ，20 岁 ， 女 性， 经 常 需 要 提交 研究 报告 以 获得 课程 成 绩 和 
分 。 有 时 ， 任 课 的 教授 不 但 要 求学 生 提 交 书 面 报告 ， 还 会 面试 他 们 ， A 
报告 。 为 了 提高 课程 成 绩 ，Stephanie 会 制作 电子 幻灯 片 来 帮助 宣讲 。 她 是 一 个 聪明 的 学 
生 , 但 是 对 于 计算 机 和 软件 的 细节 不 感 兴趣 。 她 的 目标 是 尽快 完成 看 上 去 不 错 的 幻灯 片 ， 
以 便 周 末 去 滑雪 。 虽 然 她 不 会 深入 研究 PowerPoint， 但 是 她 可 不 希望 丑陋 的 幻灯 片 给 教 
授 留 下 恶劣 的 第 一 印象 。 如 果 产 品 能 够 帮助 她 快速 制作 出 典雅 大 方 的 幻灯 片 ， 她 会 感到 
很 满意 。 


根据 这 些 用 户 角 色 , 测试 人 员 可 以 更 流畅 地 设计 测试 故事 , 因为 具体 形象 让 测试 人 员 能 够 快 
速 “ 入 戏 "。 当 测试 人 员 的 头脑 沉浸 在 用 户 角 色 和 环境 中 ， 一 些 角色 特有 的 目标 、 任 务 和 情节 就 
会 自然 浮想 。 例 如 ， 他 构思 出 :“Alex 坐 飞机 去 遥远 的 城市 研究 ， 在 孤单 的 旅程 中 ， 他 断断续续 
地 修改 幻灯 片 ， 并 在 演讲 的 前 夜 做 最 后 的 推 殴 和 修改 。 演 讲 时 ， 他 利用 PowerPoint 的 演讲 模式 ， 
精确 地 掌握 演讲 的 进度 和 时 间 ， 并 在 演讲 结束 后 将 幻灯 片 发 布 到 自己 的 网 站 。” 又 例如 ， 他 编写 
出 :“ 老 板 向 Cameron 和 其 他 两 个 同事 下 达 指 令 ， 要求 他 们 立即 完成 一 份 向 大 客户 报告 的 幻灯 片 。 
于 是 ， 他 们 利用 PowerPoint 的 共同 编辑 功能 同时 编辑 一 份 幻灯 片 。 大 多 数 时 候 ， 他 们 工作 在 上 自己 
的 幻灯 页 ， 但 有 时 也 会 工作 于 同一 张 幻灯 页 。 在 此 过 程 中 ，PowerPoint 会 和 存储 幻灯 片 的 服务 器 
配合 ， 以 避免 潜在 的 修改 冲突 。” 在 构思 故事 时 ,测试 人 员 要 围绕 产品 期 望 交付 的 价值 ， 用 故事 
去 检查 软件 确实 达到 了 它 对 用 户 的 承诺 。 


除了 用 户 角 色 , 测试 人 员 还 可 以 访问 实际 用 户 ， 去 获得 他 们 的 真实 故事 。 很 多 时 候 ， 面 对 面 
的 交流 能 够 提供 其 他 任何 方法 不 能 获得 的 信息 。 通常, 测试 人 员 不 是 实际 用 户 , 或 者 只 能 代表 广 
大 用 户 群 的 一 小 部 分 用 户 。 一些 用 户 的 目标 、 任 务 和 行为 ， 可 能 是 测试 人 员 前 所 未 见 、 无 法 想象 
的 。 因此， 如 果 有 机 会 , 测试 人 员 可 以 利用 正式 或 非 正 式 的 形式 采访 实际 用 户 ， 与 他 们 交谈 或 共 
同 操作 软件 ， 以 了 解 他 们 为 什么 使 用 产品 、 要 完成 哪些 任务 、 如 何 操 作 产 品 、 感 到 哪些 困惑 和 不 
满 、 对 未 来 产品 有 何 种 期 望 等 。 在 采访 过 程 中 , 测试 人 员 可 以 请 客户 讲述 几 个 与 产品 有 关 的 印象 
深刻 的 故事 。 这 些 故 事 往往 蕴含 了 用 户 的 情感 ( 否则 不 会 留 下 深刻 的 影响 )， 体 现 了 一 些 深层 次 
的 目标 和 动机 ， 反 映 了 现 有 产品 的 优点 或 不 足 ， 值 得 测试 人 员 认真 参考 。 


除了 正面 角色 , 测试 人 员 有 时 得 考虑 负面 角色 。 例 如 , 一 些 恶意 的 攻击 者 会 在 网 络 上 散布 精 
心 构造 的 PowerPoint 文 档 。 当 这 些 文档 被 打开 时 ， 它 们 会 令 PowerPoint 执 行 一 段 恶 意 代码 ， 从 而 
控制 他 人 的 计算 机 或 窃取 私密 信息 。 为 了 保护 正面 角色 的 利益 , 测试 人 员 需 要 研究 负面 角色 的 动 
机 、 目 标 、 能 力 和 手段 ， 并 设计 相应 的 测试 方案 。 因 为 安全 测试 的 特殊 性 和 技术 性 ， 该 方案 需要 
包括 一 组 针对 特定 安全 风险 的 专项 测试 技术 。 情 景 测试 有 助 于 从 负面 角色 的 角度 思考 攻击 ， 可 以 
为 测试 方案 提供 有 价值 的 想法 。 


在 有 些 项 目 团 队 ， 产 品 经 理会 定义 用 户 角色 。 测 试 人 员 可 以 利用 这 些 成 果 ， 直 接 用 于 情景 测 
试 的 设计 。 如 果 测 试 人 员 发 现 某 个 角色 很 重要 ， 但 是 被 产品 经 理 遗 漏 了 ， 他 可 以 与 产品 经 理 面 对 
面 地 交谈 ， 了 解 背后 的 原因 ， 探 讨 更 好 的 角色 设计 。 此 外 ， 有 些 项 目 团队 会 编写 用 例 或 用 户 故事 
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以 帮助 软件 设计 。 测试 人 员 可 以 冬 持 “ 拿 来 主义 ,将 这 批 基于 情景 的 文案 修改 为 针对 用 户 角色 的 
测试 故事 。 有 时 ， 测 试 人 员 可 以 将 多 个 用 例 或 用 户 故 事 合并 为 一 个 大 型 的 情景 测试 ， 以 实施 复杂 
的 长 流程 测试 。 改 写 的 基本 原则 仍旧 是 保证 故事 的 连贯 一 致 、 可 信 、 人 复杂 、 有 推动 力 、 易 于 评 佑 。 


5.6.3 情 青 景 测试 与 漫游 测试 


情景 测试 和 漫游 测试 可 以 很 好 地 配合 与 协作 ,在 基本 方法 上 ,它们 都 不 依赖 刻板 的 测试 脚本 ， 
而 是 让 测试 人 员 在 游历 软件 的 过 程 中 发 掘 新 信息 ,构思 并 执行 新 的 测试 用 例 , 因此 能 够 相互 协作 。 
在 测试 方向 上 , 情景 测试 使 用 故事 作为 指导 ， 专注 于 用 户 的 价值 、 任 务 和 体验 ， 而 漫游 测试 的 主 
题 则 更 加 多 样 ， 可 以 是 一 个 启发 式 指导 词 、 一 个 隐喻 、 一 组 需要 有 覆盖 的 对 象 、 一 些 需 要 调查 的 问 
题 、 一 批 产品 风险 等 。 将 它们 组 合 使 用 ， 可 以 发 挥 各 自 的 长 处 ， 形 成 互补 的 效果 。 


在 执行 漫游 测试 过 程 中 , 测试 人 员 可 以 设计 一 些 情景 , 通过 演绎 这 些 故事 来 丰富 漫游 测试 的 
测试 手段 。 以 下 是 一 些 典 型 的 例子 。 


O 在 实施 用 户 漫 游 时 ,测试 人 员 需 要 和 覆盖 典型 的 用 户 情景 。 他 选择 一 个 用 户 角 色 作 为 此 次 
漫游 的 主角 ,根据 他 的 业务 情景 ,设计 出 一 组 故事 来 进行 测试 。 在 执行 故事 的 过 程 中 ， 
测试 人 员 推 殴 用 户 对 软件 的 期 望 ， 尝 试 他 可 能 使 用 的 方法 ， 用 有 挑战 性 的 任务 来 检查 软 
件 对 用 户 的 支持 。 

口 在 实施 价值 漫游 时 ,测试 人 员 根 据 产品 远景 、 需 求 文档 、 市 场 文宣 等 材料 确定 产品 期 望 
交付 的 一 组 核心 价值 。 针 对 每 个 核心 价值 ， 他 编写 儿 个 故事 ,来 检查 软件 确实 达到 了 它 
的 承诺 。 

口 在 实施 情绪 漫游 时 ,测试 人 员 需 要 重点 关注 产品 在 不 同 用 户 情绪 下 的 表现 ， 以 及 它 的 行 
为 对 用 户 情绪 的 影响 。 为 此 ， 他 可 以 设计 几 个 快乐 、 焦 急 、 紧 张 、 恼 经 的 情景 ， 然 后 在 
这 些 情 绪 氛 VE PE 尽力 模仿 用 户 的 行为 模式 。 一 个 生动 的 故事 能 够 帮助 测试 人 
员 找 到 用 户 的 “ 感 党 "， 很 自然 地 模拟 出 用 户 的 操作 ， 并 切身 感受 到 软件 的 行为 对 使 用 者 
的 情绪 有 何 影响 。 


在 实施 情景 测试 的 过 程 中 , 测试 人 员 也 可 以 利用 一 些 漫游 测试 方法 , 让 它们 来 指引 故事 的 发 
展 ， 以 拓宽 测试 的 视野 。 以 下 是 一 些 典 型 的 例子 。 


口 测试 人 员 利 用 竞争 者 漫游 来 设计 故事 。 他 漫游 范 争 产品 ， 并 收集 大 众 对 它 的 评价 ， 接 着 
设计 一 组 故事 来 展示 了 它 的 优点 和 魅力 。 然 后 ,测试 人 员 尝 试用 被 测 产 品 去 再 现 这 些 故 
事 。 也 许 被 测 产 品 提供 了 不 同 的 功能 集合 ,但 是 它 应 该 有 能 力 用 自己 的 方式 去 完成 故事 ， 
并 绑 得 令 人 满意 的 结果 。 该 测试 比较 了 两 个 苋 争 性 的 产品 ， 检 查 了 被 测 产 品 的 实际 苋 争 
力 。 此 外 ,测试 人 员 还 可 以 编写 一 些 故事 来 展示 竞争 对 手 的 不 足 ， 然 后 用 被 测 产品 来 答 
试 这 些 故事 ， 以 检查 被 测 产品 能 和 否 克服 这 些 困 难 。 

口 情景 测试 可 以 利用 快递 漫游 来 追踪 一 个 重要 业务 对 象 的 生命 周期 。 例 如 ， 订 单 是 在 线 交 
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易 的 核心 对 象 ， 从 新 建 到 关闭 会 历经 多 个 状态 、 涉 及 多 个 业务 模块 。 测 试 人 员 可 以 设计 
一 个 故事 以 完整 地 覆盖 订单 的 状态 变迁 ， 然 后 采用 快递 漫游 来 跟随 订单 走 遍 交易 系统 的 
各 个 模块 。 在 测试 过 程 中 ， 故 事 提 供 了 业务 背景 和 用 户 目 标 ， 相 比 单纯 的 遍历 模块 ， 更 
切合 产品 的 实际 使 用 情景 ， 更 有 可 信 度 和 说 服 力 。 

口 情景 测试 可 以 使 用 垃圾 车 漫游 来 覆盖 一 组 对 象 。 垃 圾 车 漫游 建议 测试 人 员 选 择 一 组 对 象 ， 
如 所 有 与 文件 输出 相关 的 界面 元 素 、 所 有 支持 的 文件 输出 格式 等 ， 然 后 用 尽 可 能 短 的 路 
径 遍 历 这 批 对 象 。 测 试 人 员 可 以 设计 几 个 故事 来 提供 遍历 路 径 ， 这 不 但 敌 盖 了 对 象 ， 还 通 
过 故事 所 表达 的 业务 场景 测试 了 它们 之 间 的 交互 。 构 思 一 个 有 意义 的 故事 会 推动 测试 人 员 

理解 对 象 之 间 的 联系 ， 从 业务 和 技术 等 角度 考虑 它们 的 协作 ， 有 助 于 更 好 的 测试 设计 。 

除了 基于 履 盖 的 漫游 方法 , 测试 人 员 在 执行 情景 测试 的 过 程 中 , 还 可 以 使 用 一 些 基 于 风险 的 

漫游 方法 和 快速 测试 方法 , 对 软件 功能 进行 短暂 但 猛烈 的 攻击 。 这 有 助 于 发 现 一 些 在 压力 下 才 会 

暴露 的 问题 。 有 时 ， 此 类 测试 会 开辟 出 新 的 情节 ， 让 测试 人 员 设 计 出 更 多 的 故事 。 


5.6.4 ARSE Mint 


肥皂 剧 测试 是 情景 测试 的 特例 。 其 发 明 者 Hans Buwalda 建 议 测 试 故事 应 该 像 电视 肥皂 剧 一 样 
精彩 动人 [Buwalda04]。 具 体 而 言 ， 一 个 测试 故事 应 该 具备 以 下 特征 。 


O 源 于 真实 生活 。 好 的 肥皂 剧 来 源 于 生活 ， 即 便 剧 情 难免 夸张 ， 但 是 其 场景 和 细节 充满 真 
实感 ， 让 观众 感到 亲切 可 信 。 测 试 故事 也 要 基于 用 户 的 实际 场景 ， 聚 焦 可 能 真实 发 生 的 
故事 。 这 并 不 是 束缚 测试 人 员 的 手脚 ， 而 是 建议 他 多 了 解 用 户 和 业务 。 深 入 地 研究 用 户 
领域 、 挖 据 业 务 细节 ， 可 以 获得 深刻 的 情景 ,揭示 出 产品 的 深层 次 错误 。 

夸张 。 肥 皂 剧 之 所 以 好 看 ， 是 因为 它 夸大 了 生活 中 的 喜 经 哀乐 ， 用 戏剧 性 的 手法 让 故事 
曲折 动人 。 测 试 故 事 也 需要 用 戏剧 化 的 情节 去 考验 软件 。 测 试 人 员 用 复杂 的 数据 、 困 难 
的 问题 、 沉 重 的 负载 来 挑战 软件 ， 因 为 现实 世界 是 如 此 复杂 ， 那 些 看 似 夸 张 的 情况 本 来 
就 是 生活 的 一 部 分 。 

浓缩 。 肥 皂 剧 将 大 量 的 人 物 和 场景 压缩 在 45 分 钟 的 时 间 内 ， 并 展开 多 个 支线 情节 ， 证 它 
们 相互 交织 并 彼此 推动 。 肥 和 皂 剧 测试 也 需要 在 一 个 故事 中 浓缩 多 项 业务 ， 通 过 同时 展开 
多 个 复杂 的 情况 以 检查 软件 的 设计 。 软 件 也 许可 以 分 别处 理 每 一 项 业务 ， 但 是 当 多 个 业 
务 同时 提交 且 相 互 牵扯 时 ， 软 件 的 设计 缺陷 可 能 会 让 用 户 一 筹 莫 展 。 

乐趣 。 肥 拒 剧 的 最 大 吸引 力 是 市 给 观众 乐趣 ， 而 充满 乐趣 的 测试 故事 能 让 测试 人 员 热 情 
高 涨 ， 思维 活 帷 。 软 件 测试 是 高 水 平 的 智力 活动 ， 需 要 测试 者 全 力 投入 。 有 趣 的 测试 情 
景 不 但 可 以 帮助 测试 人 员 全 身心 投入 ,而且 能 够 激发 测试 人 员 的 灵感 ， 让 他 们 发 展 出 更 
好 的 支线 和 细节 。 


根据 肥 电 剧 测试 的 特征 ， 可 以 用 更 夸张 的 场景 将 5.6.1 节 的 故事 改写 为 下 面 的 样子 。 


口 


口 


口 
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a z 
Brian Crum 是 Contoso 公 司 的 总 裁 。 他 从 欧洲 的 总 部 飞 到 纽约 主持 新 产品 的 发 布 会 。 
他 原 打算 周一 飞 回 欧 洲 ， 在 周三 主持 全 体 员 工大 会 ， 谁 知 周一 当天 暴风 雨 突袭 纽约 ， 导 
致 所 有 航班 被 取消 。 无奈 之 下 , 他 突然 想到 可 以 用 Lync 进 行 视频 会 议 , (RY AL Bonnie 
安排 一 个 全 体 欧 洲 员 工 参 加 的 Lync 会 议 , 顺便 也 邀请 亚洲 的 员工 一 起 参加 。 于 是 , Bonnie 
安排 了 一 个 跨 3 个 时 区 、 包 含 1000 多 个 与 会 者 的 视频 会 议 。 会 议 当 天 ，Brain 和 1000 多 个 
员工 陆 陆 续 续 登录 到 Lync 会 议 中 。Brain 看 着 Lync 中 “一 望 无 际 ” 的 与 会 者 列表 ， 感 到 很 
满意 ， 于 是 在 即时 消息 的 窗口 键入 “hi” 并 发 送 。 在 几 秒 内 ， 有 近 百 名 员工 回复 问候 ， 
即时 消息 的 窗口 飞快 地 滚 过 他 们 的 消息 。Brian 转 头 对 在 另 一 台电 脑 上 参与 会 议 的 Bonnie 
说 :“ 我 要 开始 会 议 了 ， 请 帮 我 做 记录 。” 然后 ， 他 取消 麦克 风 的 静音 ， 打 开 摄 像 头 ， 局 
动 PowerPoint 分 享 ， 几 秒 种 后 他 的 视频 和 幻灯 片 图 像 传 递 到 欧洲 和 亚洲 。 在 Brian 演 讲 的 
过 程 中 ， 几 千 名 员工 都 可 以 看 到 他 的 视频 和 分 享 的 幻灯 片 。 因 为 通信 距离 跨越 大 洋 ， 视 
频 和 幻灯 片 动画 有 一 些 延 迟 ， 但 是 总 体 还 算 流 畅 。 演 讲 结束 后 ，Brian 将 演示 权 赋 了 予 在 欧 
洲 的 副 总 裁 Alex， 让 他 报告 公司 在 欧洲 运营 的 情况 。 很 快 ，Brian 和 其 他 与 会 者 看 到 Alex 
的 视频 信号 ，Alex 分 享 了 他 的 第 二 个 屏幕 ， 用 Excel 的 Power View 展 示 了 多 幅 动态 图 表 ， 
介绍 了 欧洲 业务 在 过 去 一 个 季度 的 变化 ,流畅 的 视频 很 好 地 展示 了 动态 图 表 的 动画 效果 ， 
Alex 的 报告 很 成 功 。 然后，Alex 将 演示 权 转 移 给 亚洲 的 副 总 裁 Ken, 请 他 介绍 亚洲 业务 的 
情况 。 当 Ken 结 束 报 告 ，Brian 重 新 主持 会 议 ， 他 宣布 进入 Q&A 环节 ， 请 与 会 者 提问 。 于 
是 ， 有 几 十 个 人 开始 键入 问题 ,很 快 即时 通讯 窗口 就 翻 过 去 好 几 屏 。Brian 只 好 随机 挑选 
几 个 回答 。 在 回答 过 程 中 ，Brian、Alex、Ken 轮 流 发 言 ， 并 不 时 地 相互 补充 。 与 会 者 可 
以 同时 看 到 他 们 的 视频 ， 听 到 他 们 的 声音 。 终 于 ， 大 会 临近 尾声 ，Brian 提 示 大 家 此 会 议 
有 共享 的 OneNote 会 议 纪 要 ( 由 Bonnie 记 录 ), 与 此 同时 他 、Alex 和 Ken 分 别 上 传 了 会 议 所 
使 用 的 幻灯 片 和 数据 文件 ， 供 大 家 下 载 。 在 感谢 大 家 参与 后 ，Brian 结 束 了 Lync 会 议 。 


除了 涵盖 原故 事 所 有 的 测试 点 ， 以 上 故事 还 测试 了 更 复杂 的 情况 。 


口 在 Outlook 中 创建 跨 时 区 的 Lync 会 议 。 

口 在 上 千 人 的 会 议 中 ， 通 过 视频 、 语 音 、 文 字 等 进行 交流 。 这 给 Lync 服 务 器 集群 带 来 了 巨 
大 的 工作 负载 ， 根 本 性 地 改变 了 测试 情景 。 在 低 负载 情况 下 可 以 通过 的 测试 有 可 能 在 这 
样 的 负载 下 失败 。 

口 测试 了 近 百 人 同时 输入 文字 的 情况 。 

口 测试 了 多 人 同时 说 话 的 情况 。 

口 测试 了 多 人 同时 上 传 数据 的 情况 。 

在 实际 测试 过 程 中 , 测试 人 员 还 可 以 引入 更 夸张 的 测试 想法 。 例 如 ， 他 可 以 模拟 几 十 个 人 同时 

说 话 或 十 几 个 人 同时 分 享 视频 的 情况 ， 以 测试 这 些 情景 对 Lync 服 务 器 和 客户 端的 影响 。 这 些 高 负载 

的 场景 将 暴露 出 软件 架构 的 局 限 , 从 而 有 助 于 研发 团队 更 好 地 评估 和 优化 Lync 在 大 型 会 议 中 的 表现 。 
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5.6.5 ”虚拟 业务 


在 情景 测试 中 , 创建 并 运 维 虚拟 业务 是 一 项 常见 的 测试 方法 。 例 如 ,测试 数据 库 产品 时 ， 测 
试 人 员 可 以 基于 被 测 数据 库 开 发 一 个 库存 管理 系统 ; 测试 B2C 在 线 商 城 时 , 测试 人 员 以 电 商 SE 
家 ) 的 身份 搭建 一 个 在 线 专 卖 店 ， 并 使 用 虚拟 买 家 模拟 出 上 架 、 下 单 、 出 货 、 退 货 、 补 货 等 业务 
行为 ; 测试 报表 软件 时 , 测试 人 员 用 被 测 产 品 制作 本 部 门 的 季度 营 收 报表 ,并 发 布 给 测试 小 组 成 
员 审 阅 。 运营 虚拟 业务 ,可 以 帮助 测试 人 员 考 察 产品 在 实际 业务 环境 中 的 表现 , 不 但 可 以 测试 到 
重点 的 业务 和 情景 ， 还 可 以 覆盖 一 些 不 经 常 执行 但 是 很 重要 的 操作 ， 例 如 数据 库 的 备份 与 恢复 、 
在 线 数 据 的 导出 与 导入 、 报 表 的 共享 与 反馈 等 。 


除了 情景 测试 的 一 般 特 性 外 , 测试 人 员 还 可 以 参考 如 下 建议 , 使 基于 虚拟 业务 的 测试 过 程 更 
加 有 力 。 


口 业务 主题 可 以 戏剧 化 。 测 试 人 员 可 以 选择 一 个 有 趣 的 主题 作为 业务 的 目标 。 例 如 ， 测 试 
PowerPoint 时 ， 测 试 人 员 以 “吸血 鬼 攻 击 完全 防备 攻略 ”为 主题 ， 创 建 一 个 幻灯 片 文 档 。 
这 个 主题 看 似 “ 无 稽 "， 但 有 潜在 的 正面 作用 。 一 方面 ， 它 暗示 测试 是 “无 约束 ”的 ， 让 
测试 人 员 用 更 发 散 的 思路 去 设计 测试 ， 另 一 方面 ， 互 联网 上 有 大 量 此 类 主题 的 动漫 、 
影 和 资料 ， 测 试 人 员 很 容易 获得 相关 素材 来 创作 幻灯 片 。 在 根本 上 ,“ 有 趣 ” 是 一 个 重要 
的 测试 推动 力 ， 它 激发 了 测试 人 员 的 兴趣 ， 引 发 了 更 多 的 测试 想法 。 

工作 成 果 要 追求 高 品质 。 测 试 人 员 应 该 用 高 质量 标准 去 要 求 测试 过 程 产生 的 业务 成 果 。 
如 果 测 试 结果 是 产生 一 份 PowerPoint 幻 灯 片 ， 那 么 该 幻灯 片 应 该 是 一 份 可 以 被 公开 发 布 
的 、 在 广大 观众 中 获得 好 评 的 优质 文档 ， 它 不 但 拥有 丰富 的 内 容 ， 还 具备 精致 的 排版 。 
高 质量 标准 意味 着 强力 的 约束 ， 而 真实 用 户 在 编辑 文档 时 也 面临 多 种 现实 约束 。 好 的 软 
件 会 帮助 用 户 去 应 对 约束 ， 而 不 是 让 他 们 感到 挫折 ， 这 是 情景 测试 的 检查 重点 。 此 外 ， 
高 质量 标准 要 求 测试 人 员 对 文档 的 内 容 和 外 观 进 行 精确 的 控制 ， 这 会 让 他 访问 软件 的 细 
部 功能 ， 从 而 促进 了 测试 的 “深度 ”。 

测试 手段 要 多 样 化 。 一 个 用 户 往 往 以 固定 的 模式 去 使 用 软件 ， 所 访问 的 特性 集合 也 是 有 
BRAY, 但 是 一 组 用 户 会 覆盖 软件 的 大 部 分 特性 。 为 了 提高 测试 的 “广度 ”， 测试 人 员 应 该 
时 刻 提醒 自己 去 使 用 尚未 尝试 的 特性 。 例 如 ， 在 测试 PowerPoint 时 ,他 可 以 考虑 在 一 个 页 
面 中 使 用 尽 可 能 多 的 特性 ， 并 确保 最 终 效果 是 美观 一 致 的 。 这 要 求 他 综合 并 协调 多 个 特 
性 的 效果 ， 通 过 精细 地 控制 来 组 织 多 种 页 面 元 素 。 这 些 测试 会 在 一 个 局 部 “浓缩 ”多 个 
功能 ， 有 助 于 发 现 功能 交互 的 细节 问题 。 

业务 数据 要 具有 真实 性 。 许 多 时 候 ， 测 试 人 员 很 难 预 测 用 户 会 使 用 何 种 数据 ， 自 行 设 计 
的 测试 数据 很 可 能 不 能 覆盖 重要 的 用 户 情景 。 为 了 提高 测试 数据 的 质量 ,测试 人 员 需 要 
尽量 收集 用 户 的 业务 数据 ， 通 过 技术 手段 抹 去 用 户 的 私密 信息 后 ， 将 数据 用 于 测试 。 最 
简单 的 方法 是 在 虚拟 业务 中 直接 使 用 这 批 数 据 ， 让 产品 提前 经 受 真 实数 据 的 考验 。 在 此 
基础 上 ， 测 试 人 员 分 析 用 户 数据 的 特征 ， 总 结 出 它 的 数值 分 布 和 变化 规律 ， 然 后 将 获得 
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的 知识 用 于 设计 新 的 测试 数据 。 例 如 ， 测 试 人 员 分 析 在 线 系统 的 运营 日 志 ， 分 析出 每 月 
的 业务 量 呈 现 稳 定 增长 的 态势 。 于 是 他 根据 当前 趋势 ， 佑 算出 新 版 本 上 线 时 的 业务 量 和 
可 能 的 峰值 ， 然 后 构造 数据 来 测试 新 版 本 。“ 真 实 ” 的 情景 总 是 在 变化 的 ， 不 存在 一 成 不 
变 的 测试 情景 。 测 试 人 员 需 要 关注 变化 的 业务 领域 ， 并 及 时 调整 测试 策略 。 


虚拟 业务 是 相对 复杂 的 测试 , 往往 需要 测试 小 组 投入 大 量 的 人 力 和 时 间 。 如 果 仔细 设计 并 认 
真 执行 ， 它 能 提供 其 他 测试 方法 难以 获得 的 重要 信息 。 特 别 是 ， 它 可 以 揭示 出 产品 的 问题 和 局 限 
对 用 户 的 业务 有 何 影 响 ， 从 而 更 真实 地 评估 出 产品 的 价值 。 


5.7 多样 地 选择 测试 技术 


面 对 多 种 多 样 的 测试 技术 , 测试 人 员 的 任务 是 选择 合适 的 技术 应 用 于 当前 的 项 目 。 对 此 , 我 
建议 测试 人 员 参 考 Cem Kaner、James Bach 和 Bret Pettichord 在 《软件 测试 经 验 与 教训 》 一 书 中 关 
于 测试 策略 的 论述 [Kaner01]。 本 节 简 介 他 们 的 观点 ， 并 给 予 必要 的 解释 。 


测试 策略 是 一 组 指导 测试 设计 和 测试 技术 选择 的 想法 。 它 通常 概述 了 测试 目标 和 实施 方法 ， 
并 提供 了 技术 选择 的 依据 。 例 如 ,开发 团队 对 代码 进行 了 大 量 重 构 , 他 们 将 新 的 构建 提交 给 测试 
小 组 , 希望 发 现 重 构 引 入 的 缺陷 。 对 此 ， 不 同 的 测试 小 组 会 采用 不 同 的 测试 策略 。 


测试 策略 1: 测试 小 组 安排 3 个 测试 人 员 进 行 检查 。 一 个 测试 人 员 运 行 所 有 自动 化 测试 用 例 ， 
并 调查 失败 的 测试 用 例 。 一 个 测试 人 员 执 行 功能 漫游 ,检查 所 有 被 修改 的 和 受 影响 的 功能 ， 在 此 
ceded Mena nulla 以 探测 典型 错误 。 一 个 测试 人 员 利 用 测试 小 组 积累 的 用 户 数据 做 系统 
测试 ， 以 检查 产品 能 否 妥善 地 完成 用 户 任务 。 


测试 策略 2: 测试 人 员 将 产品 部 署 到 预 发 布 环境 中 ,证 它 处 理 上 一 个 月 的 真实 业务 数据 ， 以 
检查 它 能 否 恰当 地 使 用 资源 、 以 预期 的 速度 正确 地 完成 业务 。 在 测试 过 程 中 , 测试 人 员 用 测试 工 
有 具 监控 产品 对 各 种 资源 的 使 用 情况 和 数据 处 理 的 速度 , 并 反复 运行 测试 脚本 以 检查 输出 结果 是 否 
正确 。 如 果 发 现 资源 泄漏 、 程 序 骨 溃 、 结 果 错 误 等 严重 问题 ， 他 会 暂停 测试 ， 邀 请 程序 员 一 起 来 
调查 。 


测试 策略 3: 测试 人 员 阅 读 代码 变更 集 ， 理 解 重 构 的 意图 和 手法 ， 针 对 每 一 处 重要 修改 ， 设 
计 并 执行 一 组 测试 用 例 。 部 分 测试 用 例 被 编码 实现 ， 成 为 定期 运行 的 自动 化 回归 测试 的 一 部 分 。 
男 一 些 测试 用 例 是 半自动 执行 , 为 此 测试 人 员 需 要 增强 自制 测试 工具 的 功能 。 余 下 的 测试 是 手工 
执行 ， 且 无 需 自 动 化 或 文档 化 。 

以 上 测试 策略 有 不 同 的 内 容 和 重点 , 适用 于 不 同 的 项 目 环境 。 其 共同 特征 是 根据 当前 测试 目 
标 , 论述 即将 执行 的 测试 和 所 需 的 资源 。 在 测试 执行 时 , 测试 人 员 会 运用 具体 的 产品 知识 , 设计 
出 更 细致 的 策略 。 总 体 而 言 ， 优 秀 的 测试 策略 具有 如 下 4 个 特征 。 
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口 产品 相关 : 好 的 测试 策略 总 是 根据 产品 的 特点 进行 有 针对 性 的 测试 。 

O 聚焦 风险 : 测试 人 员 需 要 分 析 项 目 环境 、 产 品 元 素 、 质 量 要 求 等 方面 的 潜在 问题 ， 让 测 
试 过 程 可 以 探测 其 中 的 重要 风险 。 

O 多 种 多 样 : 软件 、 业 务 和 用 户 行为 是 高 度 复杂 的 ， 任 何 单一 的 测试 手段 都 存在 盲点 。 测 
试 人 员 需 要 综合 多 种 差异 化 的 测试 手段 ， 从 各 个 角度 考验 软件 。 

口 讲求 实用 : 测试 策略 受到 测试 使 命 、 被 测 对 象 、 测 试 资源 等 因素 的 影响 和 约束 。 一 个 过 
于 简单 的 测试 策略 不 适合 复杂 的 产品 ， 而 一 个 繁重 的 测试 策略 也 不 适合 资源 紧张 的 项 目 。 
测试 人 员 要 平衡 各 种 因素 ， 让 测试 策略 可 以 充分 利用 现 有 资源 ， 对 项 目 作 出 尽 可 能 大 的 
贡献 。 


在 选择 测试 技术 时 ,Cem Kaner 等 推荐 测试 人 员 根 据 多 样 化 折 表 原则 , 综合 运用 多 种 测试 技 
术 进 行 测试 。 简 单 地 说 ， 在 有 限 的 测试 资源 约束 下 ， 将 多 种 测试 执行 到 “足够 好 ”的 水 平 ， 要 
优 于 将 一 两 种 测试 执行 到 完美 水 平 。 长 期 工作 于 一 个 项 目 有 可 能 让 测试 人 员 在 不 知 不 觉 中 进入 
某 个 思维 定 势 ， 以 致 他 总 是 使 用 一 组 固定 的 测试 方法 来 检查 软件 。 然 而 ， 现 实 世 界 是 开放 的 ， 
蕴含 着 无 限 的 可 能 ， 固 定 的 测试 手段 将 不 能 应 对 变化 的 用 户 、 业 务 和 苋 争 环境 。 为 此 ,测试 人 
员 需 要 经 常 反思 当前 的 测试 策略 ,将 更 多 的 测试 技术 纳入 测试 过 程 。 他 可 以 参考 5.1 节 介绍 的 六 
要 素 分 类 系统 或 敏捷 测试 四 象限 ， 从 所 有 的 分 支 或 象限 选择 合适 的 测试 技术 ， 以 增强 不 同 缺 陷 
的 检 出 能 力 。 


此 外 , 测试 专家 还 敏锐 地 指出 项 目的 第 一 个 测试 策略 总 是 错误 的 。 因 为 制定 初始 测试 策略 时 ， 
测试 人 员 对 产品 和 项 目 还 缺乏 足够 的 了 解 , 往往 会 忽视 某 些 重要 的 风险 , 未 能 安排 恰当 的 测试 活 
动 。 所 以 ,测试 人 员 应 该 随 着 项 目 进 展 ， 持 续 调 整 测 试 策略 ， 通 过 持续 反思 “现在 我 可 以 测试 什 
么 ?该 如 何 测试 ? ”来 识别 新 的 测试 机 会 。 此 外 , 测试 人 员 应 该 积极 利用 测试 迭代 产生 的 信息 来 
改进 测试 策略 。 在 迭代 过 程 中 , 测试 人 员 构 建 测试 模型 并 产生 测试 想法 ,然后 通过 测试 执行 来 发 
掘 新 的 知识 和 信息 。 根 据 这些 新 知 ， 他 修改 测试 模型 ， 激 发 出 新 的 测试 想法 ， 再 付 诸 实践 。 通 过 
这 样 的 螺旋 上 升 ， 测 试 质量 会 得 到 持续 提升 。 


5.8 小 结 
本 章 介 绍 了 测试 技术 的 分 类 方法 ， 并 讨论 了 基于 启发 式 方法 的 一 组 测试 技术 。 


口 所 有 测试 活动 都 会 涉及 范围 ( 测试 对 象 )、 覆 盖 ( 测试 程度 )、 测 试 者 、 风 险 、 活 动 ( 测 
试 手段 )、 评估 (测试 先知 ) 和 目标 7 个 方面 。 

口 一 个 具体 的 测试 技术 通常 只 讨论 其 中 的 1~3 个 方面 。 在 实际 使 用 时 , 测试 人 员 还 需要 思考 
其 他 方面 。 

口 启发 式 方法 针对 复杂 问题 提出 了 一 种 简单 的 、 较 可 能 成 功 的 解决 思路 。 因 为 任何 启发 式 
方法 都 可 能 失效 ,测试 人 员 需 要 综合 使 用 多 个 启发 式 方法 。 
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口 测试 人 员 需 要 用 批判 性 思考 研究 他 所 使 用 的 每 项 技术 ， 知 晓 它 的 优点 与 不 足 。 

口 掌握 一 项 测试 技术 需要 “重新 发 明 ” 它 ， 即 通过 实践 加 入 自身 经 验 和 项 目 特征 ， 以 获得 
新 的 方法 。 
口 测试 人 员 可 以 针对 重复 出 现 的 测试 问题 ， 提 炼 出 解决 方案 的 模式 ， 建 立 自 己 的 启发 式 
口 测试 先知 是 识别 软件 失败 的 启发 式 方法 。 它 不 能 断定 软件 行为 一 定 正 确 ， 只 能 检查 软件 
运行 是 否 发 生 特定 错误 。 

口 测试 人 员 需 要 从 不 同 关系 人 的 角度 ， 设 计 多 个 测试 先知 来 检查 软件 的 行为 。 

口 漫游 测试 是 在 特定 主题 指导 下 对 产品 进行 探索 ， 不 但 可 以 实施 基于 和 覆盖 或 风险 的 测试 ， 
还 可 以 了 解 产 品 知识 ， 提 供 更 多 的 测试 想法 。 

口 快速 测试 是 一 组 针对 特定 缺陷 的 攻击 方法 ， 能 够 快速 发 现 典型 的 问题 。 

口 情景 测试 利用 一 个 或 一 组 情景 ( 故事 ) 作为 测试 方案 ， 对 软件 进行 探索 。 好 的 情景 测试 
基于 连贯 一 致 的 、 可 信 的 、 有 推动 力 的 、 复 杂 的 故事 ， 且 容易 评估 软件 是 否 出 错 。 

O 好 的 测试 策略 是 与 产品 相关 、 聚 焦 风 险 、 多 种 多 样 、 讲 求实 用 的 。 

口 测试 人 员 应 该 参考 多 样 化 折衷 原则 ， 综 合 运用 多 种 测试 技术 进行 测试 。 

口 测试 人 员 需 要 在 测试 迭代 中 调整 测试 策略 和 方法 ， 以 持续 优化 测试 的 价值 。 
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测试 开发 


测试 开发 是 为 了 完成 测试 使 命 而 进行 的 代码 开发 与 维护 活动 。 它 服务 于 软件 项 目的 总 体 目 
标 , 利用 计算 机 的 能 力 来 实现 更 好 的 测试 。 随 着 计算 机 性 能 和 软件 技术 的 快速 发 展 , 测试 开发 已 
经 成 为 最 基础 、 最 重要 的 测试 手段 之 一 。 为 了 持续 提高 测试 效率 和 产品 质量 , 测试 人 员 需 要 分 析 
当前 项 目的 测试 需求 ， 将 合适 的 开发 技术 以 合理 的 策略 应 用 于 测试 开发 。 


测试 开发 往往 要 求 测试 人 员 在 代码 编号、 调试 、 维 护 上 投入 可 观 的 时 间 和 精力 。 如 果 这 些 投 
入 不 能 带 来 相应 的 回报 , 测试 小 组 就 浪费 了 原本 可 用 于 其 他 测试 活动 的 资源 。 为 了 让 测试 开发 交 
付 应 有 的 价值 , 测试 人 员 需 要 建立 正确 的 观念 ,运用 合理 的 开发 方法 。 为 此 ， 本 章 将 讨论 测试 开 
发 的 分 类 ， 并 介绍 一 些 开发 思路 和 策略 ， 供 测试 人 员 在 实践 中 参考 。 


6.1 测试 开发 分 类 
测试 开发 的 对 象 是 测试 程序 ， 根 据 测 试 程序 的 用 途 可 以 将 测试 开发 大 致 分 为 两 类 。 


口 自动 化 测试 开发 与 维护 自动 执行 的 测试 用 例 。 这 批 测 试用 例 的 准备 、 执 行 、 检 验 、 清 理 
和 报告 都 是 自动 完成 的 。 自 动 化 测试 的 典型 例子 是 用 xUnit 测 试 框架 编写 的 自动 化 单元 测 
试 [WikipediaXUnit13]。 

口 计算 机 辅助 测试 开发 与 维护 帮助 完成 测试 任务 的 工具 。 其 常见 的 应 用 领域 包括 产品 分 析 、 
测试 环境 管理 、 测 试 数据 生成 、 软 件 调试 、 测 试 结果 分 析 与 管理 等 。 


ERME, 自动 化 测试 是 一 种 计算 机 辅助 测试 , 即 自动 执行 的 测试 用 例 也 是 帮助 完成 测试 任 
务 的 工具 。 因 为 测试 用 例 是 非常 重要 的 基础 工具 , 是 许多 团队 强烈 依赖 的 质量 保障 工具 , 所 以 它 
被 独立 出 来 做 专门 的 研究 。 这 是 合理 且 现 实 的 划分 策略 。 不 过 , 正 因为 自动 化 测试 和 计算 机 辅助 
WES LA, 所 以 一 些 测试 代码 兼 有 测试 用 例 和 测试 工具 的 特征 。 例 如 ，5.3.3 节 介绍 了 
Harry Robinson 测 试 谷歌 地 图 时 所 采纳 的 测试 开发 策略 。Harry 的 测试 程序 调用 谷歌 地 图 ， 获 得 两 
个 地 点 之 间 的 导航 路 线 , 然后 用 一 组 规则 检查 导航 路 线 ， 以 发 现 违反 规则 的 导航 路 线 。 该 程序 可 
以 看 作 自动 化 测试 ,每 一 对 地 点 就 是 一 条 测试 用 例 ， 其 执行 、 检 查 和 报告 都 是 自动 完成 的 。 测 试 
小 组 可 以 将 这 批 测试 用 例 当 做 回归 测试 用 例 集 , 通 过 定期 运行 来 发 现代 码 改 动 引 入 的 错误 ,不 过 ， 
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Harry 的 程序 并 不 断定 某 条 导航 路 线 出 错 ， 而 是 提交 “疑似 错误 案例 ”给 测试 人 员 做 进一步 调查 。 
从 这 个 角度 ， 它 是 一 个 起 “过 滤器 ”作用 的 测试 执行 与 分 析 工 具 ， 通 过 执行 海量 的 计算 ， 提 取出 
测试 人 员 需 要 研究 的 异常 情况 。 


接 下 来 , 本 音 将 分 别 讨论 自动 化 测试 和 计算 机 辅助 测试 的 基本 实践 。 虽然 它们 开发 不 同 任务 
的 测试 代码 ， 但 是 都 遵循 相同 的 开发 原则 ， 拥 有 相似 的 实现 策略 。 


6.2 注重 实效 的 自动 化 测试 


自动 化 测试 , 顾名思义， 是 计算 机 自动 执行 的 测试 。 测 试 人 员 的 开发 对 象 是 被 计算 机 自动 执 
行 的 测试 用 例 。 在 许多 项 目 中 ， 自 动 化 测试 用 例 组 成 自动 化 测试 套件 , 被 周期 性 地 执行 ， 以 持续 
提供 代码 的 质量 信息 。 因 为 自动 化 测试 所 带 来 的 影响 是 如 此 深远 ,软件 专家 Martin Fowler 指 出 对 
于 许多 项 目 ， 测 试 已 经 步 人 编程 的 前 沿 和 中 心 位 置 [Meszaros07]。 


为 了 实现 更 有 效 的 自动 化 测试 , 本 节 讨 论 自动 化 测试 的 目标 和 一 批 值 得 参考 的 实践 方法 。 基 
本 想法 是 根据 项 目 语 境 ， 通 过 测试 迭代 开发 出 注重 实效 的 自动 化 测试 。 


6.2.1 自动 化 测试 的 基本 策略 


为 了 取得 自动 化 测试 的 成 功 , 测试 人 员 需 要 明确 目标 。 从 根本 上 说 ， 自 动 化 测试 的 目标 是 拓 
展 测试 小 组 的 能 力 ， 帮 助 他 们 更 好 地 服务 于 软件 项 目 。 即 测试 代码 并 不 是 自动 化 测试 的 目标 , 在 
整体 上 优化 测试 效率 和 提高 测试 效果 才 是 测试 小 组 追求 的 对 象 。 为 此 , 测试 小 组 需要 基于 项 目 语 
境 制订 整体 的 测试 计划 〈 包 含 测试 策略 、 保 障 条 件 、 测 试 产 出 等 )， 将 自动 化 测试 作为 实现 测试 
策略 的 重要 工具 加 以 有 效 利用 。 


由 于 自动 化 测试 服务 于 项 目 整体 的 测试 策略 , 所 以 测试 开发 策略 也 需要 符合 优秀 测试 策略 的 
4 个 特征 : 产品 相关 、 珍 焦 风 险 、 多 种 多 样 和 讲求 实用 [Kaner01]。 


第 一 ， 自 动 化 测试 应 该 切合 当前 产品 。 近 年 来 ,软件 开发 与 测试 技术 快速 发 展 , 这 让 测试 人 
员 可 以 从 多 个 优秀 的 测试 框架 中 进行 选择 。 此 外 , 测试 人 员 还 可 以 利用 最 新 的 开发 技术 来 构建 自 
己 的 测试 框架 。 在 选择 和 创新 的 过 程 中 , 技术 选 型 的 基本 出 发 点 是 自动 化 测试 应 该 符合 产品 和 项 
目的 特征 。 这 要 求 测试 人 员 评 估 当 前 项 目 , 灌 慎 地 选择 实践 方法 和 开发 技术 ,并 创造 性 地 将 它们 
应 用 于 产品 测试 。 


语 境 驱动 测试 认为 “在 特定 语 境 下 存在 好 的 实践 , 但 不 存在 最 佳 实践 " [ContextDrvienTesting12]。 
该 原则 并 非 和 否定 现 有 的 开发 原则 和 实践 ， 而 是 建议 测试 人 员 理解 并 改造 已 有 的 方法 ， 以 适应 项 
目 和 产品 的 特点 。 例 如 ,“ 持 续集 成 ”是 公认 的 核心 开发 实践 ,但 是 不 同 的 团队 会 采用 不 同 的 具 
体 做 法 。 对 于 小 型 项 目 ， 一 次 代码 提交 便 会 触发 一 次 完整 的 构建 ， 并 运行 所 有 的 自动 化 测试 。 
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对 于 大 型 项 目 , 项 目 团队 也 许 会 每 小 时 做 一 次 构建 并 运行 BVT， 然 后 在 每 天 晚上 运行 所 有 的 自 
动 化 测试 。 对 于 超大 型 项 目 ， 做 一 次 完整 的 构建 ( 包含 BVT ) 需要 几 天 的 时 间 ， 所 以 测试 小 组 
只 会 选择 某 些 构建 运行 所 有 的 自动 化 测试 ， 自 动 化 测试 的 运行 周期 可 能 是 1~2 周 。 可见 , 好 的 思 
想 在 不 同 环境 中 会 发 展 出 不 同 的 流程 和 方法 , “因地制宜 ”地 选择 和 应 用 才能 真正 发 挥 思想 的 内 
在 价值 。 


第 二 ， 自 动 化 测试 应 该 聚焦 风险 ,重点 解决 产品 面临 的 最 大 风险 ， 而 不 必 强 求 面面俱到 。 在 
RRE, 这 要 求 测试 人 员 采 取 进 攻 的 心态 , 通过 自动 化 测试 去 迅速 发 现 软 件 缺 陷 , 让 程序 员 能 够 
快速 地 修复 缺陷 ， 从 而 获得 平稳 且 有 效率 的 开发 过 程 。 


自动 化 测试 面临 的 第 一 个 风险 来 自 于 它 本 身 。 有 时 ,测试 人 员 在 编写 和 维护 测试 程序 上 
投入 了 大 量 的 时 间 和 精力 ， 却 没有 获得 相应 的 测试 收益 。 这 浪费 了 测试 资源 ,减少 了 其 他 测 
试 活动 可 用 的 时 间 ， 给 产品 质量 和 项 目 进度 带 来 了 负面 影响 。 此 外 ,没有 成 效 的 自动 化 测试 
会 挫伤 测试 人 员 的 士气 ， 让 他 们 对 自动 化 测试 感到 厌倦 ， 以 致 错过 了 一 些 明显 的 改进 测试 代 
码 的 机 会 。 


为 了 实施 有 效 的 自动 化 测试 , 我 建议 测试 小 组 迭代 地 实施 自动 化 测试 。 在 每 一 个 迭代 中 ，, 测 
试 小 组 分 析 产 品 风险 和 项 目 风 险 ， 列 出 一 组 需要 解决 的 问题 。 然 后 ， 选 出 若干 高 优先 级 的 、 适 合 
自动 化 测试 的 问题 ， 作 为 自动 化 测试 的 工作 目标 。 针 对 这 几 个 目标 , 测试 小 组 拟定 出 明确 的 开发 
任务 , 安排 具体 人 员 来 负责 实现 。 在 迭代 结束 后 ,测试 小 组 评估 目标 是 否 达成 ,并 分 析 自 动 化 测 
试 是 否 缓解 了 风险 、 解 决 了 问题 。 评 佑 的 目标 不 是 评价 测试 人 员 的 绩效 ， 而 是 发 现 自动 化 测试 的 
长 处 与 不 足 ， 讨 论 现 有 自动 化 策略 的 可 改进 之 处 。 评 估 的 结果 可 以 是 一 页 清单 ,记录 了 应 该 坚持 
的 实践 、 需 要 避免 的 陷阱 、 值 得 尝试 的 新 方法 、 叹 待 解决 的 问题 等 。 之 后 ,测试 小 组 根据 当时 的 
产品 风险 和 上 一 次 迭代 的 结果 ， 安 排 新 的 自动 化 测试 任务 。 


与 基于 测 程 的 测试 管理 (参见 3.2.13 节 和 4.2.2 节 ) 相似 ， 和 迭代 的 自动 化 测试 开发 是 一 种 自 适 
应 的 测试 策略 ， 它 拥有 如 下 特征 。 


口 时 间 盒 。 测试 人 员 将 一 个 兴 代 作为 一 个 时 间 盒 ， 为 目标 设 定 、 代 码 开发 和 结果 评估 提供 
明确 的 期 限 和 节奏 。 通 过 多 个 时 间 盒 的 持续 努力 ， 测 试 人 员 可 以 积累 多 个 小 成 果 ， 以 获 
得 强大 的 自动 化 测试 。 时 间 盒 的 长 短 取决 于 项 目的 特征 ,通常 2~4 周 的 时 间 适 用 于 大 多 数 
项 目 。 

O 在 时 间 和 资源 约束 下 的 具体 目标 。 时 间 盒 的 基本 元 素 有 两 点 : 明确 的 时 间 期 限 和 具体 的 
开发 目标 。 测 试 人 员 可 以 拥有 一 个 长 远 的 开发 计划 ， 不 过 对 于 当前 的 时 间 盒 ， 他 需要 根 
据 项 目 需 要 和 可 用 资源 ， 安 排 一 组 切实 可 行 的 小 目标 。 小 目标 让 测试 人 员 更 加 专注 于 开 
发 ， 而 且 完 成 目标 的 成 就 感 能 够 鼓舞 他 更 有 信心 地 工作 。 

口 聚焦 风险 。 在 设 定 目 标 时 , 测试 人 员 需 要 着 重 考 虑 项 目 风 险 。 这 要 求 他 综合 考虑 短期 内 
需要 解决 的 问题 和 长 期 有 价值 的 任务 。 在 一 些 项 目 中 ,测试 小 组 总 是 遇 到 许多 “ 突 发 事 
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件 ”， 如 产品 不 能 安装 、 自 动 化 测试 遭遇 大 量 失 败 、 严 重 的 缺陷 使 产品 工作 流 中 断 等 。 应 
对 这 些 问 题 耗费 了 测试 小 组 大 量 的 精力 ， 使 他 们 无 力 做 更 有 长 远 价 值 的 任务 。 对 此 ， 一 
个 可 行 的 策略 是 优先 解决 紧急 的 问题 ， 并 通过 高 质量 的 自动 化 测试 、 合 理 的 工作 流程 等 ， 
降低 此 类 问题 发 生 的 可 能 和 修复 代价 。 即 通过 一 套 解 决 方案 稳定 开发 流程 、 降 低产 品 风 
险 ， 以 便 测 试 小 组 有 资源 做 更 长 远 的 工作 。 

持续 评估 。 随 着 项 目 进展 ， 产 品 具备 更 丰富 的 能 力 ， 也 面临 不 同 的 风险 。 所 以 ， 测 试 人 
员 和 需要 在 迭代 间隙 持续 评 佑 项目 情况 ， 以 便 让 新 的 自动 化 测试 能 够 应 对 以 往 没 有 考虑 到 
的 问题 ， 将 精力 投放 在 对 产品 开发 最 有 价值 的 领域 。 

动态 计划 。 和 迭代 开发 的 本 质 是 根据 变化 的 情况 实施 动态 计划 ， 并 根据 计划 执行 结果 做 出 
必要 的 调整 。 这 对 于 测试 开发 尤其 重要 ， 因 为 测试 代码 强烈 依赖 于 产品 代码 ， 测 试 计划 
需要 符合 产品 开发 的 实际 进度 。 此 外 ,测试 人 员 通 常会 同时 执行 多 项 测试 任务 ， 无 法 专 
注 于 测试 开发 ， 其 工作 计划 也 时 常 被 突 发 性 事件 打 断 。 和 迭代 开发 帮助 测试 人 员 处 理 变 化 
的 情况 ， 使 得 投入 的 资源 可 以 获得 相应 的 回报 。 


第 三 ， 自 动 化 测试 应 该 在 资源 允许 的 范围 内 尽力 拓展 测试 领域 ， 以 提供 给 多 样 化 的 测试 。 功 
能 测试 是 常见 的 自动 化 测试 领域 , 测试 小 组 会 构建 自动 执行 的 功能 测试 用 例 集 , 以 发 现代 码 变动 
产生 的 缺陷 。 除 此 之 外 , 自动 化 测试 还 可 以 在 许多 方面 大 显 身 手 , 获得 手工 测试 难以 实现 的 效果 。 
以 下 是 几 个 例子 。 


口 性 能 测试 。 随 着 项 目 进展 ， 测 试 人 员 需 要 评估 产品 的 性 能 是 在 稳步 提高 ， 还 是 在 逐渐 下 
降 。 对 于 网 络 应 用 ， 随 着 用 户 数 和 业务 量 的 提高 ， 测 试 人 员 需 要 检查 即将 发 布 的 版 本 能 
和 否 处 理 正 常 流量 和 峰值 流量 。 为 此 ， 测 试 人 员 会 编写 代码 ， 模 拟 出 各 种 工作 负载 ， 从 而 
在 项 目 过 程 中 持续 检查 软件 的 性 能 。 有 些 测试 小 组 将 多 次 测试 获得 的 性 能 数据 绘制 成 趋 
势 图 ， 可 以 轻易 地 看 出 产品 的 性 能 变化 。 

压力 测试 。 测 试 程序 驱使 产品 长 时 间 地 处 理 大 批 数据 ， 让 它 超 负 荷 运转 ， 并 监控 它 所 暴 
露出 的 问题 。 这 样 的 测试 有 时 会 持续 几 天 ， 记 录 大 量 的 产品 日 志和 性 能 数据 。 测 试 工 具 
会 分 析 这 些 日 志和 数据 ， 以 报告 其 中 值得 注意 的 问题 。 

配置 测试 。 一 些 软 件 需要 在 多 个 平台 上 运行 ， 例 如 一 球 流行 的 智能 手机 应 用 往往 需要 
文 持 十 多 球 手 机 。 手 工 在 各 个 平台 上 执行 测试 费时 费力 ， 且 容易 因为 测试 疲劳 造成 缺 
陷 遗 漏 。 测 试 小 组 开发 出 跨 平 台 的 测试 框架 ， 让 同一 个 测试 用 例 集 可 以 运行 在 多 个 目 
标 平台 上 。 这 不 但 节省 了 人 力 ， 还 加 速 了 测试 过 程 ， 有 助 于 快速 发 现在 特定 平台 上 才 
存在 的 缺陷 。 

安全 性 测试 。 随 着 软件 技术 的 发 展 ， 寻 找 〈 并 利用 ) 安全 性 缺陷 的 技术 挑战 快速 提高 。 
一 些 安全 性 问题 的 技术 难度 已 经 超过 普通 测试 人 员 的 能 力 范围 。 为 了 应 对 日 趋 环 手 的 安 
全 性 问题 ， 测 试 小 组 会 利用 已 有 的 测试 工具 ， 或 让 安全 性 专家 主持 研发 测试 工具 ， 通 过 
源 代码 扫描 [Chess07]、 模 糊 测 试 [Sutton07] 等 手段 ， 来 强力 挖掘 安全 性 缺陷 。 


口 


口 


口 


口 
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第 四 ， 自 动 化 测试 应 该 讲求 实用 , 测试 人 员 需 要 根据 项 目 语 境 选择 合适 的 开发 策略 。 软 件 产 
品 的 差异 性 很 大 , 不 存在 普遍 适用 的 测试 开发 策略 。 在 规划 和 实现 自动 化 测试 时 , 测试 小 组 要 思 
考 各 种 项 目 因 素来 做 出 合理 的 设计 。 常 见 的 考虑 因素 如 下 。 


口 测试 使 命 。 测 试 小 组 通常 对 测试 资源 ( 时间、 机 带 、 工 具 等 ) 和 测试 人 手 ， 有 一 定 发 言 


权 ， 但 不 能 作出 最 终 决 策 ( 这 是 项 目 管 理 者 的 职权 范围 )。 在 资源 相对 固定 的 情况 下 ,将 
多 少 资源 和 人 手 投入 自动 化 测试 ， 需 要 测试 领导 与 项 目 关系 人 共同 决定 测试 小 组 承担 的 
测试 使 命 。 如 果 测 试 小 组 需要 承担 大 量 的 手工 测试 任务 ， 那 么 他 们 就 很 难 拓展 自动 化 测 
试 的 范围 ， 只 能 专注 于 优先 级 最 高 的 自动 化 测试 领域 。 


口 测试 人 员 。 有 些 自动 化 测试 技术 适用 于 编程 经 验 不 多 的 测试 人 员 ， 有 些 则 要 求 测试 人 员 


精通 某 类 开发 技术 。 为 初级 测试 人 员 选 择 高 难度 的 方法 ,会 让 他 们 难以 上 手 ， 影 响 项 目 
进度 ; 为 高 级 测试 人 员 安 排 过 于 简单 的 工具 ,会 限制 他 们 的 能 力 ， 挫 伤 其 积极 性 。 通 常 ， 
测试 领导 应 该 与 资深 测试 人 员 协 商 ， 共 同 决定 测试 小 组 的 测试 开发 策略 ， 并 对 测试 人 员 
的 技能 发 展 做 出 安排 。 


口 项 目 进度 。 许 多 项 目的 开发 具有 明显 的 节奏 。 在 项 目 初期 ， 产品 代码 尚未 完全 就 位 ， 测 


试 人 员 有 时 间 开 发 一 些 基 础 性 的 测试 框架 ; 在 项 目 中 期 ， 产品 代码 逐步 交付 测试 ， 测 试 

员 需 要 编写 组 件 级 别 和 系统 级 别 的 自动 化 测试 ; 在 项 目 后 期 ， 产品 临近 交付 ， 测 试 人 
员 专 注 于 运行 测试 、 报 告 缺 陷 、 验 证 修复 ， 只 能 将 少量 时 间 用 于 开发 新 的 自动 化 测试 。 
这 表明 测试 小 组 应 该 根据 项 目 进 度 逐 步 演变 测试 开发 的 重点 。 


O 产品 特征 。 产 品 的 开发 技术 和 业务 领域 会 影响 测试 技术 的 选择 。 如 果 产 品 代码 用 Java 编 


写 , 那么 测试 代码 就 倾向 于 能 够 运行 在 Java 虚 拟 机 上 的 语言 。 这 简化 了 测试 代码 和 产品 代 
码 的 相互 调用 ， 并 方便 测试 人 员 了 解 被 测 产 品 的 平台 特征 和 技术 特点 。 如 果 产 品 需要 处 
理 大 量 的 业务 数据 ， 那 么 测试 设计 就 倾向 于 用 数据 库 保存 产品 的 输入 和 输出 数据 ， 因 为 
数据 库 提供 了 便利 的 方法 来 存储 、 查 询 、 分 析 和 计算 大 规模 数据 ， 令 测试 实现 简洁 高 效 。 


总 而 言 之 ， 自 动 化 测试 是 实现 测试 策略 的 工具 ,测试 开发 需要 服务 于 整体 测试 计划 。 测试 小 
组 应 该 注重 实效 ， 和 迭代 地 开发 有 效 降 低 项 目 风险 的 自动 化 测试 。 


6.2.2 


将 测试 开发 视 作 软件 开发 


自动 化 测试 是 基于 产品 代码 的 软件 应 用 , 测试 开发 也 是 一 种 软件 开发 , 需要 遵循 恰当 的 软件 
开发 过 程 。 测 试 小 组 需要 分 析 软 件 开发 的 基本 元 素 ， 以 选择 合适 的 测试 开发 过 程 。 图 6-1 展 示 了 
一 种 可 行 的 测试 开发 策略 ， 它 包含 设 定 目标 和 测试 开发 迭代 两 个 阶段 。 


首先 , 软件 项 目 要 持续 地 交付 价值 才能 长 远 地 发 展 , 测试 开发 项 目 也 是 如 此 。 测 试 小 组 需要 
分 析 项 目测 试 面临 的 挑战 , 设 定 测试 自动 化 的 使 命 和 目标 , 并 提出 候选 的 实现 策略 。 以 下 是 一 些 
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* 明确 使 命 
“拟订 计划 
+ 达成 共识 


设 定 目标 


“评估 当前 情况 
* 拟订 选 代 计 划 
* 精 选 开发 实践 
* 建立 流程 和 责任 


测试 开发 迭代 


图 6-1 迭代 地 展开 测试 开发 


口 项 目 和 产品 面临 什么 风险 ”有 哪些 重要 的 缺陷 要 去 发 现 ? 

口 当前 的 测试 面临 哪些 挑战 7 有 哪些 重要 的 测试 任务 ? 

口 测试 小 组 用 什么 测试 策略 去 缓解 风险 ? 如 何 用 受 限 的 资源 去 发 现 尽 可 能 多 的 重要 缺陷 ? 
口 测试 自动 化 在 整体 测试 策略 中 起 什么 作用 ? 它 如 何 与 其 他 测试 活动 配合 ? 
口 利用 测试 自动 化 能 否 发 展 出 更 强大 、 更 高 效 的 测试 策略 ? 

口 测试 自动 化 的 短期 目标 是 什么 ? 长 期 目标 是 什么 ? 

口 选择 哪些 自动 化 技术 来 实现 目标 ? 如 何 评估 候选 技术 ? 

口 执行 哪些 任务 来 达成 目标 ? 如 何 安 排 任务 的 优先 级 ? 

口 如 何 评 估 自 动 化 测试 达成 了 预定 目标 ? 

口 引入 (新 的 ) 自动 化 测试 有 哪些 风险 ? 如 何 缓解 这 些 风 险 ? 

口 为 了 取得 自动 化 测试 的 成 果 ， 需 要 对 测试 流程 和 人 员 角 色 做 哪些 安排 ? 

口 测试 人 员 需 要 做 何 种 思想 和 技术 准备 ? 


获得 这 些 问 题 的 答案 需要 统筹 考虑 项 目 全 局 , 也 需要 深入 研究 具体 问题 。 为 了 获得 更 全 面 的 
理解 ,测试 领导 可 以 和 几 个 资深 测试 人 员 一 起 讨论 ,共同 拟定 测试 开发 的 计划 文档 ， 以 说 明 自 动 
化 测试 的 目标 、 任 务 、 策 略 和 资源 。 然 后 ， 测 试 领导 邀请 测试 小 组 成 员 审阅 计划 ， 通 过 收集 更 多 
的 反馈 来 改进 计划 ,并 使 之 成 为 大 家 的 共识 。 经 过 集体 讨论 , 测试 小 组 获得 了 测试 开发 计划 的 初 
稿 ， 用 它 来 作为 自动 化 测试 的 行动 指南 。 


随 着 项 目 发 展 , 测试 小 组 面临 的 挑战 也 在 不 停 地 变化 , 原先 的 测试 策略 可 能 不 适应 新 的 项 目 
情况 。 为 了 让 自动 化 测试 持续 提供 价值 , 测试 小 组 需要 积极 主动 地 调整 测试 开发 计划 。 一 个 可 行 
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的 方法 是 采用 迭代 开发 过 程 ， 用 得 的 开发 周期 来 逐步 构建 自动 化 测试 ， 并 动态 调整 方向 。 通 常 ， 
测试 开发 周期 为 2~4 周 ， 在 此 期 间 测 试 小 组 执行 如 下 任务 。 


(1) 测试 小 组 评估 上 一 个 周期 的 测试 开发 ， 列 出 没有 完成 的 目标 和 和 需要 解决 的 问题 。 

(2) 测试 小 组 分 析 当 前 的 项 目 情 况 ， 列 出 需要 实现 的 自动 化 测试 和 值得 研究 的 开发 技术 。 

(3) 测试 小 组 根据 可 以 用 的 资源 ， 拟 定 本 次 迭代 的 开发 目标 ， 并 安排 实现 目标 的 一 组 任务 。 
每 一 个 任务 都 有 明确 的 负责 人 、 完 成 时 间 和 交付 结果 。 

(4) 测试 小 组 的 成 员 进 行 测试 编码 ， 并 利用 沙 箱 测试 、 同 行 评审 、 持 续集 成 、 技 术 原 型 等 开 
发 实践 来 保证 测试 代码 的 质量 。 


口 沙 箱 测试 : 测试 人 员 在 一 个 独立 的 环境 中 部 署 产品 、 开 发 并 运行 自动 化 测试 。 独 立 的 环 
境 使 测试 人 员 之 间 的 开发 与 测试 不 会 相互 干扰 。 当 测试 人 员 完 全 控制 产品 、 自 动 化 测试 
和 测试 环境 时 ， 他 可 以 方便 地 控制 测试 运行 ， 以 快速 地 获得 测试 结果 。 这 有 助 于 迅速 发 
现 产 品 缺陷 和 编写 测试 代码 。 

口 同行 评审 : 测试 小 组 需要 建立 测试 代码 的 评审 过 程 ， 让 一 组 相对 资深 的 员工 评审 所 有 的 
测试 代码 。 通 过 评审 ， 资 深 员工 可 以 将 一 些 代码 知识 、 实 现 方法 和 设计 模式 传授 给 其 他 
测试 人 员 ， 并 保证 新 编写 的 代码 符合 团队 制定 的 编码 标准 。 代 码 评审 是 一 个 传播 知识 、 

建立 规范 的 过 程 ， 好 的 评审 过 程 能 够 提高 整个 测试 小 组 的 质量 意识 和 编程 技能 。 

O 持续 集成 : 项 目 团队 建立 持续 集成 流程 ， 频 繁 地 编译 产品 和 测试 代码 ， 并 运行 自动 化 测 
试 集 ， 以 连续 地 提供 产品 代码 的 质量 信息 。 测 试 小 组 应 该 建立 流程 ， 让 新 编写 的 自动 化 
测试 可 以 加 入 持续 集成 所 运行 的 自动 化 测试 集 。 通 过 高 频率 地 运行 测试 ,测试 小 组 不 但 
可 以 及 时 发 现 产 品 的 问题 ， 还 可 以 发 现 测试 代码 的 不 足 ， 从 而 快速 地 修复 问题 ， 使 项 目 
过 程 更 加 平稳 。 

口 技术 原型 : 在 大 规模 采纳 某 种 新 技术 、 新 框架 或 新 工具 前 ， 测 试 小 组 用 技术 原型 来 评估 
其 可 行 性 。 测 试 人 员 可 以 用 一 个 迭代 周期 来 构建 技术 原型 ， 用 它 完 成 真实 的 测试 任务 ， 
以 便 在 项 目 语 境 中 分 析 新 方法 的 长 处 与 不 足 ， 从 而 确定 它 能 否 带 来 预期 的 回报 。 如 果 有 
多 个 相互 竞争 的 技术 ,测试 人 员 可 以 用 它们 构建 几 个 技术 原型 ,来 完成 同一 个 任务 。 通 
过 比较 技术 原型 的 表现 ， 测 试 人 员 能 够 作出 合理 的 技术 选择 。 


(5) 测试 开发 的 特殊 性 在 于 测试 小 组 不 但 要 开发 代码 ， 还 要 运行 代码 ， 提 交 缺 陷 报告 ， 并 修 
复 测 试 代码 的 缺陷 。 即 自动 化 测试 项 目 包含 持续 的 编码 、 运 行 、 分 析 、 调 试 和 维护 。 为 此 ,测试 
小 组 应 该 建立 明确 的 流程 和 责任 ， 让 自动 化 测试 可 以 持续 地 运行 ， 让 测试 结果 得 到 及 时 地 调查 ， 
让 测试 缺陷 得 到 快速 地 修复 ,让 过 时 的 测试 被 删除 或 改写 。 好 的 流程 让 新 的 自动 化 测试 立即 发 挥 
作用 ， 并 通过 测试 迭代 逐步 提高 自动 化 测试 集 的 质量 。 


总 之 ,自动 化 测试 是 一 种 重要 的 投资 , 测试 人 员 会 投入 可 观 的 时 间 和 精力 。 为 了 获得 良好 的 
回报 ， 测 试 小 组 需要 选用 恰当 的 测试 设计 、 开 发 技术 和 管理 方法 ， 让 它们 相互 支持 、 彼 此 配合 。 
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6.2.3 利用 自动 化 测试 金字 塔 来 指导 测试 开发 


为 了 优化 测试 资源 分 配 ， 软 件 专家 Mike Cohn 提 出 了 测试 自动 化 金字 塔 [Cohn09]， 测 试 专家 
Lisa Crispin 将 其 细 化 为 图 6-2 的 形式 [Crispin09]。 人 金字塔 包含 3 个 自动 化 测试 层次 ， 在 金字 塔 之 上 
是 手工 测试 。 项 目 团 队 应 该 将 更 多 的 精力 放 在 金字 塔 的 底层 , 编写 数量 庞大 的 单元 测试 和 组 件 测 
试 ， 为 高 层 的 自动 化 测试 莫 定 坚实 的 基础 。 


手工 测试 


验收 测试 (API 层 ) 


单元 测试 和 组 件 测试 


图 6-2 ”测试 自动 化 金字 塔 


口 金字 塔 底层 是 自动 化 测试 的 基础 ， 主 要 包含 单元 测试 和 组 件 测 试 。 该 层次 拥有 的 测试 代 
码 最 多 ， 是 自动 化 测试 投资 回报 率 最 高 的 部 分 。 一 般 情况 下 ， 这 部 分 测试 代码 由 编程 小 
组 编写 和 维护 。 
口 金字 塔 中 层 是 面向 业务 的 自动 化 测试 。 它 们 调用 产品 提供 的 编程 接口 ， 不 依赖 于 图 形 界 
面 ， 所 以 比较 容易 开发 和 维护 ， 拥 有 较 高 的 投资 回报 率 。 通 常 ， 测 试 小 组 会 编写 该 层 的 
测试 代码 ， 开 发 小 组 会 提供 必要 的 技术 支持 ， 例 如 提供 面向 业务 领域 的 API。 
口 金字 塔 顶 层 是 少量 的 基于 图 形 界面 的 自动 化 测试 。 由 于 图 形 界面 改动 频繁 ， 所 以 测试 代 
码 需要 经 常 修改 。 另 外 ， 基 于 图 形 界 面 的 测试 代码 难以 编写 、 调 试 和 修正 ， 操 作 系 统 的 
偶然 事件 、 用 户 界面 的 轻微 延迟 、 测 试 代码 的 考虑 不 周 都 会 导致 测试 失败 ， 所 以 拥有 高 
昂 的 测试 维护 代价 。 因 此 ， 该 层次 的 自动 化 投资 回报 率 最 低 ， 应 该 只 包含 必须 使 用 图 形 
界面 才能 完成 的 测试 。 此 类 代码 通常 由 测试 小 组 开发 和 维护 。 
口 金字 塔 上 方 是 手工 测试 。 测 试 人 员 在 自动 化 测试 的 坚实 基础 上 ， 对 尚未 覆盖 的 领域 实施 
手工 测试 。 手 工 测试 并 非 不 使 用 任何 软件 工具 。 测 试 人 员 可 以 选择 和 开发 合适 的 工具 ， 
来 辅助 测试 并 提高 测试 效率 。 
自动 化 金字 塔 是 一 个 概念 模型 ,描述 了 一 种 高 效 的 自动 化 测试 策略 , 但 是 许多 项 目的 实际 
情况 与 之 不 同 。 在 一 些 项 目 中 , 金字塔 处 于 倒置 的 状态 : 程序 员 只 编写 很 少 的 单元 测试 和 组 件 
测试 ,测试 人 员 基 于 编程 接口 和 图 形 界面 编写 测试 代码 ， 而 且 许 多 代码 强烈 依赖 于 图 形 界面 。 
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这 导致 了 高 兄 的 测试 代码 开发 和 维护 代价 。 在 男 一 些 项 目 中 ,程序 员 不 编写 单元 测试 , 测试 小 
组 开发 的 自动 化 测试 也 很 少 , 大 多 数 测试 需要 手工 完成 。 这 导致 测试 小 组 在 每 个 项 目 周期 都 花 
费 大 量 的 时 间 去 手工 运行 回归 测试 ， 压缩 了 测试 新 功能 的 时 间 ， 并 难以 及 时 发 现代 码 变更 引入 
的 回归 错误 。 


面 对 以 上 情况 ,测试 小 组 需要 通过 持续 努力 来 逐步 扭转 不 利 的 情况 ,以 下 是 一 些 常 见 的 方法 。 


Q 


Q 


Q 


口 


口 


测试 小 组 需要 与 编程 小 组 商谈 ， 共 同 制定 自动 化 测试 的 策略 。 最 理想 的 情况 是 编程 小 组 
承诺 为 新 代码 编写 单元 测试 ， 并 为 测试 小 组 提供 足够 的 编程 接口 ， 以 简化 中 层 测试 用 例 
的 开发 。 其 中 ， 单 元 测试 需要 达到 的 质量 标准 和 编程 接口 的 具体 内 容 由 编程 小 组 和 测试 
小 组 协商 决定 。 无 论 如 何 ， 项 目 团队 应 该 就 自动 化 测试 的 覆盖 范围 、 不 同类 型 的 自动 化 
测试 由 谁 编写 和 维护 、 编 程 小 组 如 何 支 持 测 试 小 组 等 基本 问题 达成 一 致意 见 。 

测试 自动 化 要 立即 见效 [Kaner01]。 测 试 小 组 选择 投资 回报 率 高 的 区 域 实施 自动 化 测试 。 
这 通常 是 产品 的 不 稳定 区 域 ， 拥 有 频繁 的 代码 变更 或 大 量 的 软件 缺陷 。 快 速 的 代码 变更 
暗示 这 部 分 代码 的 业务 需求 比较 活跃 ， 是 产品 的 重要 价值 所 在 ; 活跃 的 缺陷 说 明 这 部 分 
代码 比较 复杂 ， 可 能 存在 业务 或 技术 上 的 难题 。 对 这 些 区 域 建立 自动 化 测试 ， 能 够 快速 
地 发 现 新 引入 的 缺陷 ， 让 整个 项 目 团队 看 到 自动 化 测试 的 价值 。 

测试 小 组 与 项 目 关 系 人 讨论 ， 了 解 他 们 最 担心 的 风险 和 最 想 知道 的 信息 ， 然 后 思考 自动 
化 测试 能 否 缓解 这 些 风 险 或 提供 相关 信息 。 与 上 一 点 相似 ， 测 试 小 组 不 是 立即 实施 全 面 
的 自动 化 测试 ， 而 是 针对 高 优先 级 的 目标 实现 自动 化 测试 。 通 过 自动 化 测试 更 好 地 为 项 
目 关系 人 服务 ， 不 但 完成 了 测试 使 命 ， 还 让 关系 人 理解 并 赞赏 测试 小 组 在 自动 化 测试 上 
的 投入 ， 从 而 为 更 广泛 的 自动 化 争取 更 多 的 资源 。 

在 合适 的 层次 和 粒度 实施 自动 化 测试 。 通常， 测试 小 组 需要 检查 软件 对 最 终 用 户 的 价值 ， 
其 拥有 的 测试 资源 不 允许 他 们 开发 所 有 层次 的 测试 。 所 以 ， 常 见 的 测试 策略 是 开发 面向 
业务 的 自动 化 测试 ( 金字塔 的 中 层 ), 并 辅 以 必要 的 基于 用 户 界 面 的 测试 ( 金字 塔 的 顶层 )。 
这 些 自动 化 测试 能 够 覆盖 基本 用 户 情 景 ， 为 更 细致 的 手工 测试 提供 质量 基础 。 测 试 人 员 
不 必 强 求 所 有 测试 用 例 都 100% 自 动 化 [Kaner01]， 这 不 但 会 带 来 高 昂 的 测试 维护 代价 ， 还 
会 压缩 实际 的 测试 时 间 。 合 理 的 策略 是 针对 不 同 的 测试 任务 采取 合适 的 测试 方法 。 在 大 
多 数 情况 下 ， 综 合 运用 手工 测试 、 代 码 审查 、 开 发 者 测试 、 自 动 化 测试 等 方法 会 获得 更 
好 的 测试 效果 。 

学 习 并 实践 已 有 的 测试 开发 方法 和 模式 , 以 快速 构建 稳定 的 自动 化 测试 。 XUnit Test Patterns: 
Refactoring Test Code* 和 Working Effectively with Legacy Code” 是 该 领域 的 经 典 著 作 ， 值 得 
测试 人 员 参 考 和 借鉴 。 


金字 塔 不 是 一 天 建成 的 。 测 试 小 组 可 以 从 影响 大 、 成 本 小 的 自动 化 测试 开始 , 逐步 构建 相对 


O http://xunitpatterns.com/。 
© 中 译本 为 《修改 代码 的 艺术 》( http://book.douban.com/subject/2248759/ ). 
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全 面 的 自动 化 测试 用 例 集 合 。 积 小 胜 为 大 胜 ， 以 稳健 的 策略 去 推动 测试 开发 ， 能 够 获得 短期 的 成 
果 和 长 远 的 发 展 。 


6.2.4 面向 调试 的 测试 代码 


自动 化 测试 可 以 视 为 基于 产品 代码 的 二 次 开发 。 一 般 情 况 下 , 开发 人 员 会 假设 所 调用 的 基础 
性 代码 是 经 过 充分 测试 、 比 较 稳定 、 比 较 可 靠 的 , 但 是 测试 开发 却 面临 截然 相反 的 情况 ， 其 调用 
的 产品 代码 未 经 充分 测试 ， 变 更 频繁 ,很 可 能 包含 缺陷 。 因 此 ， 自 动 化 测试 遭遇 失败 是 “常态 ”， 
调查 失败 原因 是 测试 人 员 的 基本 工作 。 当 自动 化 测试 包含 大 量 的 测试 用 例 , 高 效 的 失败 调查 能 
及 时 发 现 产 品 缺 陷 ， 反 之 低 效 的 失败 调查 会 延迟 缺陷 发 现时 间 ， 并 占用 许多 测试 时 间 。 


有 经 验 的 程序 员 知 道 故障 调查 是 一 件 困难 的 任务 , 可 能 会 消耗 大 量 的 开发 时 间 , 所 以 他 们 的 
设计 会 考虑 软件 的 可 调试 性 , 通过 一 些 特定 的 功能 来 降低 调试 的 难度 和 开销 。 因 为 自动 化 测试 的 
根本 任务 就 是 发 现 并 定位 产品 错误 , 所 以 测试 人 员 更 要 将 可 调试 性 作为 测试 开发 的 基本 因素 , 时 
刻 加 以 关注 。 以 下 是 一 些 有 助 于 提高 可 调试 性 的 开发 方法 。 


O 测试 代码 应 该 尽 可 能 地 简单 。 程 序 员 有 时 为 了 提高 产品 的 性 能 ， 会 使 用 一 些 复杂 的 算法 
和 高 级 的 程序 库 。 不 过 ， 大 多 数 测试 代码 并 不 需要 极致 的 性 能 ， 测 试 人 员 应 该 用 平实 的 
算法 和 基础 的 程序 库 来 构建 测试 程序 。 这 有 助 于 构建 正确 的 代码 ， 避 人 免 复杂 人 逻辑 带 来 的 
隐藏 缺陷 。 通 常 ， 一 个 测试 函数 只 测试 一 个 具体 的 功能 ， 一 个 复杂 的 测试 用 例 由 多 个 简 
单 的 测试 函数 组 成 。 

测试 代码 应 该 容易 阅读 。 测 试 代码 是 “可 执行 的 规格 说 明 ”， 定 义 了 特定 操作 下 被 测 软 件 
的 行为 [Features07]。 该 规格 说 明 应 该 清晰 易 懂 ， 让 读者 很 容易 理解 测试 代码 做 了 哪些 测 
试 准备 、 进 行 了 什么 操作 、 检 查 了 什么 内 容 、 预 期 获得 怎样 的 结果 等 。 在 理想 情况 下 ， 
读者 只 需要 阅读 测试 函数 就 可 以 理解 测试 步 台 和 检查 逻辑 。 这 要 求 测试 代码 拥有 一 致 的 
命名 、 清 晰 的 结构 和 必要 的 注释 。 这 些 良好 的 编程 实践 不 但 有 助 于 构建 清晰 的 程序 ， 还 
会 节省 大 量 的 调试 时 间 ， 因 为 理解 测试 逻辑 是 发 气 失 败 原 因 的 基本 前 提 。 

测试 代码 需要 合理 的 抽象 和 封装 。 许 多 测试 用 例会 共享 一 组 功能 ， 如 启动 软件 、 登 录 测 试 
用 户 、 检 查 业 务 对 象 属性 、 关 闭 软件 等 。 测 试 人 员 可 以 将 这 批 反复 使 用 的 代码 抽取 出 来 ， 
封装 在 命名 良好 的 函数 和 类 中 。 这 有 助 于 测试 函数 的 代码 聚焦 于 当前 的 测试 逻辑 ， 而 不 是 
纠缠 于 一 些 大 多 数 测试 都 会 涉及 的 操作 ， 从 而 提高 了 测试 代码 的 可 读 性 。 但 是 要 避免 过 狂 
不 及 ， 过 度 的 抽象 会 降低 “规格 说 明 ” 的 清晰 性 ， 隐 项 重要 的 操作 会 让 读者 错过 理解 测试 
逻辑 的 关键 细节 。 测 试 人 员 需 要 在 实践 中 推荐 代码 的 结构 ， 以 获得 恰到好处 的 设计 。 
测试 代码 应 该 检查 每 一 步 操作 的 结果 ， 发 现 问题 立即 报告 。 测 试 代码 应 该 假定 对 软件 的 
任何 操作 都 可 能 失败 ， 所 以 它 会 检查 所 有 操作 的 结果 ， 并 通过 断言 、 异 常 、 日 志 等 方式 
将 错误 报告 出 来 。 第 一 时 间 报 告 错误 有 助 于 测试 人 员 理 解 错误 的 根源 ， 降 低 了 追踪 错误 
源头 的 开销 。 


口 


口 
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O 测试 代码 应 该 拥抱 日 志 。 测 试 人 员 需 要 用 日 志 记录 产品 的 输入 数据 、 测 试 的 执行 步骤 、 
产品 的 输出 结果 等 信息 ， 以 全 面 描绘 测试 执行 的 情况 。 在 理想 情况 下 ， 测 试 人 员 只 要 对 
照 阅读 测试 日 志和 测试 代码 就 可 以 理解 失败 原因 ， 而 不 需要 启动 调试 器 。 常 见 的 测试 框 
架 都 提供 了 功能 丰富 的 日 志 程 序 库 ， 并 提供 了 扩展 接口 来 帮助 测试 人 员 定 制 出 满足 特定 
需求 的 测试 日 志 
口 除了 文本 日 志 ， 测 试 代码 还 可 以 记录 其 他 形式 的 日 志 。 例 如 ， 有 些 针对 数据 库 的 测试 全 
产生 大 量 的 输出 吉 果 ， 将 这 些 结果 都 号 入 文本 日 志 并 不 利于 阅读 和 分 析 。 一 个 可 行 的 测 
试 策略 是 将 产品 输出 写 人 一 个 独立 的 测 斌 数据库， 以便 进一步 检查 。 又 例如 ， 在 测试 执 
行 失 败 时 ， 测 试 程 序 可 以 屏幕 截图 ， 让 测试 人 员 了 解 失败 时 软件 的 外 观 。 对 于 软件 表演 
的 情况 ， 测 试 程序 可 以 生成 被 测 进程 在 崩 演 时 的 内 存 转 储 文件 ， 以 便 测试 人 员 用 调试 器 
调查 骨 演 原因 。 


代码 清单 6-1 是 一 个 测试 Word 读 取 和 为 存 文件 的 函数 。 虽 然 真 实 的 测试 代码 会 更 加 复杂 ,但 
是 这 个 简化 的 例子 很 好 地 说 明了 如 何在 测试 开发 中 应 用 以 上 实践 方法 。 


O 测试 函数 TestopenSave 用 C# 编 写 ， 通 过 调用 Word 的 COM 互 操作 API ( Word.Application ) 
来 打开 指定 的 文档 ， 然 后 另存 为 新 的 文档 ， 以 测试 文档 读 写 功 能 。 代 码 清晰 直观 ， 容 易 
理解 。 

口 Test0penSave 提 供 了 两 个 参数 ， 分 别 指定 需要 读 取 的 文件 的 路 径 (sourceFilePath ) 和 另 
存 时 使 用 的 文件 格式 ( saveFormat )， 为 数据 驱动 的 测试 提供 了 支持 。 上 层 的 驱动 函数 可 
以 从 外 部 数据 源 加 载 一 批文 件 路 径 和 文件 格式 , 通过 反复 调用 Test0penSave 来 读 写 不 同文 
件 和 格式 。 该 设计 用 相对 简单 的 代码 支持 了 多 样 化 的 测试 。 

O 程序 库 TestLog 提 供 了 日 志 功 能 ， 其 实现 请 参考 代码 清单 6-2。Test0penSave 在 每 一 步 操作 
之 前 都 通过 TestLog.Comment() 来 明确 记录 测试 执行 到 哪里 。 一 旦 测试 失败 ， 测 试 人 员 通 
过 阅读 测试 日 志 ， 就 可 以 知晓 哪些 步骤 已 经 通过 、 测 试 失败 具体 发 生 在 何 处 。 

口 Test0penSave 还 用 TestLog.Comment 记 录 了 所 有 的 输入 值 ( 函数 参数 sourceFilepPath 和 
saveFormat 的 值 )。 在 数据 驱动 测试 中 ， 大 量 的 文件 路 径 和 格式 被 传递 给 Test0penSave。 
记录 所 有 的 输入 值 简 化 了 调试 过 程 ， 测 试 人 员 只 要 阅读 测试 日 志 ， 就 可 以 了 解 是 哪个 文 
件 和 格式 导致 测试 失败 。 

口 TestLog 还 提供 了 检查 功能 。TestLog.VerifyEqual 比 较 实 际 值 是 否 等 于 预期 值 ， 如 果 不 相 
等 ,该 函数 会 记录 错误 消息 。TestLog.VerifyTrue 判 断 输入 的 条 件 是 否 为 真 ， 如 果 为 假 ， 
该 函数 会 记录 错误 消息 ,在 每 _ 步 操作 之 后 . Test0penSave 都 会 调用 这 些 函 数 来 检查 操作 
是 否 成 功 ， 以 第 一 时 间 记 录 问 题 。 这 两 个 检验 函数 只 记录 错误 消息 ， 不 会 抛 出 异常 以 中 
断 测 斌 执行。 在 调用 结束 之 后 ， 函数 Testopensave 总 能 继续 执行。 

O 程序 库 TestLib 封 装 了 一 批 辅 助 函数 ， 提 供 了 可 以 让 多 个 测试 函数 复 用 的 功能 ， 其 实现 请 
参考 代码 清单 6-3 。 该 程序 库 和 Test0penSave 拥 有 一 致 的 编码 风格 ， 都 利用 简单 明了 的 指 
令 来 操作 被 测 对 象 ， 用 TestLog 来 记录 操作 步骤 和 检查 操作 结果 
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口 TestLib 的 函数 EnsureFileExists 和 EnsureNoNWordProcess 以 Ensure 作 为 函数 名 的 前 缀 , 以 表 
明 它 们 会 检查 特定 的 条 件 。 如 果 条 件 不 为 真 , 它们 会 调用 TestLog.Fail 来 记录 错误 消息 并 
抛 出 异常 。 测 试 代码 用 这 些 函 数 来 检查 对 测试 执行 非常 重要 的 条 件 ， 如 果 这 些 条 件 不 成 
立 ， 测 试 执行 应 该 中 止 。 


代码 清单 6-1 测试 Word 读 取 和 另存 文件 的 函数 


/// <summary> 

/// Test method that opens and saves a document 

/// </summary> 

/// <param name="sourceFilePath">source document to open</param> 

/// <param name="saveFormat">file format to save</param> 

public void TestOpenSave(string sourceFilePath, Word.WdSaveFormat saveFormat) 

{ 
TestLog.Comment("-- Start TestOpenSave") ; 
TestLog.Comment("sourceFilePath={0}", sourceFilePath) ; 
TestLog.Comment("saveFormat={0}", saveFormat) ; 


TestLog.Comment("-- Check test preconditions"); 
TestLib.EnsureFileExists(sourceFilePath) ; 


TestLog.Comment("-- Boot Word"); 
Word.ApplicationClass word = TestLib.BootWord(); 


TestLog.Comment("-- Open document ({0})", sourceFilePath) ; 
Word.Document document = word.Documents.Open(sourceFilePath) ; 
TestLog.VerifyEqual(word.Documents.Count, 1, 

"One document should be opened"); 


TestLog.Comment("-- Compute unique target file path"); 
string targetFolder = System.10.Path.GetTempPath() ; 
TestLog.Comment("targetFolder={0}", targetFolder) ; 
string targetFile = string.Format("{0}{1} {2}.{3}", 
targetFolder, System.Guid.NewGuid(), 
saveFormat, this.GetExtension(saveFormat)); 
TestLog.Comment("targetFile={0}", targetFile); 


TestLog.Comment("-- Save document"); 
object oTargetFile = targetFile; 
object oSaveFormat = saveFormat; 
document .SaveAs2(ref oTargetFile, ref oSaveFormat, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing); 


TestLog.Comment("-- Check saved document"); 
TestLog.VerifyTrue(document.Saved, "Document should be saved"); 
TestLog.VerifyEqual(document.FullName.ToLower(), targetFile.ToLower(), 
"File paths should be same"); 
TestLib.EnsureFileExists(targetFile) ; 
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TestLog.Comment("-- Close Word"); 
TestLib.CloseAllDocumentAndQuit (word); 


} 


代码 清单 6-2 日 志 程 序 库 TestLog 的 实现 


static class TestLog 


{ 
enum LogLevel 
{ 
Comment, 
Warning, 
Error 
} 
public static void Comment(string format, params object[] parameters) 
{ 
Log(LogLevel.Comment, format, parameters); 
public static void VerifyTrue(bool condition, string message) 
{ 
if (!condition) 
Log(LogLevel.Error, message); 
} 
public static void VerifyEqual(object actual, object expected, 
string message) 
{ 
if(!actual.Equals (expected) ) 
Log(LogLevel.Error, 
"The actual value ({0}) does not equal the expected value ({1})," 
+ "message: {2}", 
actual, expected, message); 
} 
} 
public static void Fail(string format, params object[] parameters) 
Log(LogLevel.Error, format, parameters); 
throw new Exception(string.Format(format, parameters)) ; 
} 
private static void Log(LogLevel level, string format, 
params object[] parameters) 
{ 
// 将 错误 消息 广播 给 日 志 的 监听 者 
} 
人 
} 
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代码 清单 6-3 ”程序 库 TestLib 提 供 了 可 复 用 的 函数 


static class TestLib 


{ 


private static object missing = Type.Missing; 


public static Word.ApplicationClass BootWord() 


{ 
TestLog.Comment("-- Boot Word process and show its window"); 
var word = new Word.ApplicationClass(); 
TestLog.VerifyEqual(Process.GetProcessesByName("winword").Length, 1, 
"There should be one Word process"); 
return word; 
} 
public static void CloseAllDocumentAndQuit(Word.ApplicationClass word) 
{ 
TestLog.Comment("-- Start CloseAllDocumentAndQuit"); 
object doNotSaveChanges = Word.WdSaveOptions.wdDoNotSaveChanges ; 
TestLog.Comment("-- Close all documents"); 
int beforeCloseCount = word.Documents.Count; 
TestLog.Comment("Before close, Word document count={0}", 
beforeCloseCount) ; 
while (word.Documents.Count > 0) 
{ 
word.ActiveDocument.Close(ref doNotSaveChanges, 
ref missing, ref missing); 
int afterCloseCount = word.Documents.Count; 
TestLog.Comment("After close, Word document count={0}", 
afterCloseCount) ; 
TestLog.VerifyTrue(beforeCloseCount - afterCloseCount == 1, 
"One document should be closed"); 
beforeCloseCount = afterCloseCount; 
} 
TestLog.Comment("-- Quit Word process"); 
word.Quit(ref missing, ref missing, ref missing); 
System. Threading. Thread.Sleep(2 * 1000); // 等 2 秒 ， 以 待 Word 进 程 退 出 
EnsureNoWordProcess(); 
} 
public static void EnsureFileExists(string filePath) 
{ 
if (!System.10.File.Exists(filePath) ) 
TestLog.Fail("file ({0}) does not exist", filePath); 
} 


public static void EnsureNoWordProcess() 
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{ 


int wordProcessCount = Process.GetProcessesByName("winword").Length; 


if (wordProcessCount != 0) 


TestLog.Fail("There should not be Word processes"); 


} 
} 


虽然 编写 面向 调试 的 代码 需要 测试 人 员 付出 额外 的 努力 , 但 是 这 能 获得 长 久 的 收益 。 大 多 数 
自动 化 测试 会 运行 多 次 , 一 些 测试 用 例 甚 至 会 运行 多 年 。 良 好 的 可 
查 的 开销 ， 帮 助 测试 人 员 更 快 地 提交 缺陷 和 修复 测试 代码 的 错误 。 


6.2.5 系统 测试 的 测试 开发 


调试 性 能 够 大 幅度 降低 失败 调 


随 着 测试 对 象 的 变化 ,测试 开发 的 需求 和 方法 也 会 发 生 相 应 的 变化 。 例 如 , 单元 级 别 和 系统 
级 别 的 自动 化 测试 就 存在 显著 差异 ， 表 6-1 概 述 了 它们 的 不 同 点 。 


表 6-1 ”对比 单元 级 别 和 系统 级 别 的 自动 化 测试 


单元 测试 


系统 测试 


对 象 。 测 试 (一 个 类 的 ) 一 个 函数 。 
。 测试 几 个 紧密 联系 的 函数 (可 能 属 于 不 


。 测试 系统 一 个 功能 。 


。 测试 儿 个 相互 协作 的 功能 。 对 于 大 型 系统 , 一 条 测试 用 例会 


同 的 类 ) 覆盖 若干 子 系统 
需求 。 测试 运行 速度 快 ， 可 以 立即 提供 对 代码 o 测试 用 例 的 首要 任务 是 检查 产品 在 真实 环境 中 的 表现 ,其 测 
修改 的 检查 结果 。 试 运行 速度 通常 比 单元 测试 慢 几 个 数量 级 。 


。 测 试用 例 集 能 够 周密 地 覆盖 被 测 对 象 。 
优秀 的 测试 用 例 集 能 提供 90% 以 上 的 


。 测试 用例 覆盖 最 重要 的 业务 流程 。 受 到 技术 和 资源 的 限制 ， 


系统 测试 的 语句 覆盖 率 较 低 


语句 覆盖 率 
手段 。 根 据 代码 实 现 设计 测 试用 例 ,属于 白 会 。 测 试用 例 对 系统 进行 黑 盒 测试 。 有 效 的 测试 设计 需要 了 解 
测试 范畴 产品 架构 、 组 件 功能 、 输 入 输出 格式 等 技术 细节 ， 因 此 具 


。 为 了 提高 运行 速度 , 好 的 单元 测试 不 访 
问 文件 、 网 络 、 数 据 库 、 服 务 等 外 部 


。 通 过 测试 柱 、 模 拟 对 象 等 技术 来 替换 被 
测 对 象 依赖 的 外 部 资产。 

。 测试 框架 程序 加 载 测试 用 例 和 被 测 对 
象 ， 让 它们 位 于 同一 个 进程 空间 。 

每 一 个 测试 用 例会 创建 自己 的 测试 对 
象 ， 因 此 测试 用 例 之 间 相 互 独立 


有 灰 盒 测试 的 特点 。 


。 为 了 测试 产品 的 真实 表现 ， 系 统 测试 会 覆盖 文件 、 网 络 、 数 
据 库 、 服 务 等 外 部 资源 。 

。 系 统 测试 通常 不 使 用 虚拟 对 象 等 测试 替换 技术 。 如 有 果 使 用 ， 
被 替换 对 象 通常 是 一 个 组 件 或 子 系统 。 

。 为 了 方便 测试 执行 和 监控 ,测试 用 例 和 被 测 产 品 常常 运行 在 


两 个 进程 中 。 


。 一 组 测试 用 例 常 常 共享 一 个 测试 对 象 (通常 是 被 测试 进程 ) ， 
之 前 运行 的 测试 用 例 可 能 影响 到 之 后 运行 的 测试 用 全 


一 般 说 来 ,测试 人 员工 作 在 组 件 和 和 系统 级 别 ， 其 测试 会 覆盖 产品 的 多 个 部 件 和 功能 ,所 以 
他 的 自动 化 测试 也 偏向 系统 层次 , 会 覆盖 产品 的 多 个 特性 。 为 了 更 好 地 开发 和 维护 自动 化 的 系统 
测试 , 测试 人 员 除 了 参考 基本 的 测试 开发 方法 , 还 要 根据 系统 测试 的 特点 , 采取 一 些 有 针对 性 的 
实践 。 对 此 ， 本 节 将 讨论 儿 个 典型 的 系统 测试 的 开发 实践 。 
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实践 1: 全 自动 的 产品 安装 是 最 基本 的 可 测试 性 需求 


代码 清单 6-4 来 自 单元 测试 框架 NUnit 的 教程 INUnitQuickStart12]。 测 试 函数 TransferFunds 测 
试 负责 转账 功能 的 函数 Account.TransferFunds ， 它 获得 可 测试 对 象 的 方法 是 用 new 操 作 符 生成 转 
出 账户 和 转 入 账户 。 这 是 典型 的 单元 测试 的 测试 准备 方法 : 测试 用 例 和 被 测 对 象 运行 在 同一 个 进 
程 中 ,由 测试 框架 加 载 被 测 对 象 所 在 的 程序 集 ， 由 测试 用 例 安排 被 测试 对 象 的 生命 周期 。 整 个 过 
程 不 需要 部 署 完整 的 产品 。 


代码 清单 6-4 ”单元 测试 样 例 
[Test] 
public void TransferFunds() 


{ 
// setup 
Account source = new Account(); 
source.Deposit(200m); 


Account destination = new Account(); 
destination.Deposit(150m); 


// execute 
source.TransferFunds(destination, 100m); 


// check 
Assert.AreEqual(250m, destination.Balance); 
Assert.AreEqual(100m, source.Balance); 


} 
系统 测试 的 测试 对 象 是 完整 的 软件 系统 或 子 系统 , 因此 它 会 要 求 在 测试 执行 之 前 软件 被 正确 
地 安装 到 测试 环境 中 。 为 了 达成 高 效 的 自动 化 ， 整 个 安装 过 程 需要 是 全 自动 且 可 预先 配置 的 。 


口 所 谓 “ 全 自动 ”是 指 测试 人 员 只 要 执行 一 个 命令 ， 安 装 程序 就 可 以 将 产品 部 署 到 指定 的 
测试 环境 中 ， 即 “一 键 部 署 ” 测试 人 员 需 要 在 项 目 过 程 中 多 次 部 署 产品 ， 如 果 安 装 过 程 
要 求 复 杂 的 手工 操作 ， 势 必 会 占用 大 量 测试 时 间 ， 浪 费 测试 人 员 的 精力 。 而 且 ， 桔 燥 的 
手工 配置 很 可 能 因为 玻 忽而 引入 安装 错误 ， 而 包含 错误 配置 的 产品 会 导致 系统 测试 失败 。 
当 测 试 人 员 费 尽心 力 地 调查 测试 失败 ， 却 发 现 这 是 安装 错误 引起 的 ， 会 备 感 挫折 。 

O 所 谓 “ 可 预先 配置 ”是 指 测试 人 员 可 以 用 配置 文件 或 配置 脚本 指挥 安装 程序 ， 让 安装 后 
的 产品 符合 预先 定义 的 配置 。 因 为 大 多 数 产 品 的 安装 需要 用 户 提供 一 些 参数 值 ， 可 预先 
配置 实际 上 是 全 自动 安装 的 前 提 条 件 。 对 于 分 布 式 系统 的 开发 和 测试 ， 这 尤其 重要 。 例 
如 ， 被 测 的 网 络 服务 需要 访问 数据 库 ， 因 此 测试 人 员 需 要 配置 它 的 数据 库 连 接 字 符 串 ， 
以 指向 恰当 的 测试 用 数据 库 。 可 预先 配置 的 安装 让 测试 人 员 在 配置 文件 中 指定 数据 库 连 
接 字 符 串 ， 令 安装 后 的 系统 使 用 测试 人 员 指 定 的 数据 库 。 

口 在 全 自动 和 可 预先 配置 的 基础 上 ,项 目 团队 可 以 用 一 组 配置 文件 在 所 有 环境 中 部 署 产 品 。 
例如 ,配置 文件 A 将 产品 部 署 到 测试 开发 环境 , 该 环境 通常 用 一 台 机 咒 运 行 多 个 服务 和 数 
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据 库 ; 配置 文件 B 将 产品 部 署 到 功能 测试 环境 , 该 环境 通常 包含 多 台 计 算 机 以 模拟 出 产品 
环境 的 特征 ; 配置 文件 C 将 产品 部 署 到 预 发 布 环境 ,该 环境 与 产品 环境 拥有 相同 的 拓扑 结 
构 和 相似 的 数据 ; 配置 文件 D 将 产品 部 署 上 线 。 可 预先 配置 的 全 自动 安装 简化 了 测试 环境 
的 搭建 ， 提 高 整个 测试 开发 与 执行 的 效率 。 此 外 ， 用 相同 的 机 制 在 测试 环境 和 产品 环境 
中 部 署 产品 ， 不 但 能 够 尽早 地 发 现 安装 程序 的 错误 ， 还 可 以 模拟 出 产品 升级 、 补 本 上线 
等 情景 ， 对 于 提高 安装 程序 的 质量 很 有 帮助 。 


在 大 多 数 团队 ,安装 程序 由 编程 小 组 负责 开发 和 维护 。 在 项 目 之 初 , 测试 小 组 、 产 品 经 理 和 
编程 小 组 需要 共同 协商 , 让 安装 程序 可 以 支持 全 自动 安装 。 最 佳 结果 是 全 自动 且 可 预先 配置 的 安 
装 成 为 第 一 等 级 的 功能 需求 , 被 写 人 规格 说 明和 设计 文档 。 可 接受 的 结果 是 编程 小 组 同意 向 测试 
小 组 提供 以 下 测试 支持 。 


口 安装 程序 可 以 部 署 完整 的 系统 。 

O 因为 安装 失败 会 阻碍 后 续 测 试 ， 安 装 程 序 的 缺陷 会 获得 最 高 优先 级 。 

口 当 一 项 功能 被 提交 给 测试 小 组 时 ， 该 功能 可 以 被 安装 程序 自动 部 署 。 

口 如 果 测试 人 员 认 为 安装 程序 需要 接受 额外 的 配置 参数 ， 产 品 经 理 、 程 序 员 、 测 试 人 员 协 
商 决 定 是 否 或 如 何 支 持 该 配置 参数 。 


产品 安装 是 一 项 容易 被 忽视 的 工作 项 。 当 产品 经 理 思考 产品 特性 、 程 序 员 构思 代码 实现 时 ， 
他 们 很 可 能 会 忘记 正确 的 安装 是 交付 任何 产品 价值 的 前 提 。 作 为 最 时 使 用 产品 的 人 , 测试 人 员 应 
该 明确 提出 全 自动 安装 是 一 项 重要 的 可 测试 性 需求 ， 需 要 在 整个 项 目 周 期 获得 第 一 流 的 支持 。 


实践 2: 使 用 单独 的 进程 监控 测试 运行 


在 运行 代码 清单 6-4 所 示 的 单元 测试 时 , 测试 程序 ( nunit.exe ) 加 载 测试 函数 (TransferFunds ) 
ABMS (Account ) 的 程序 集 ， 在 同一 个 进程 中 运行 测试 程序 和 被 测 代 码 。 与 单元 测试 不 同 ， 
系统 测试 通常 会 启动 多 个 进程 : 运行 测试 用 例 的 进程 和 被 测 产 品 的 进程 。 例 如 ， 代 码 清单 6-1 所 
示 的 系统 测试 运行 在 测试 框架 进程 中 ， 其 测试 对 象 Word 运 行 在 另 一 个 进程 中 。 


在 多 进程 的 测试 中 ， 被 测 进程 可 能 发 生死 循环 、 死 锁 、 忙 等 外 部 资源 等 情况 而 失去 响应 。 这 
时 ,等 待 被 测 进程 输出 的 测试 函数 也 会 陷入 “假死 ”状态 。 对 此 ,测试 程序 需要 有 办 法 终止 当前 
测试 用 例 ， 记录 错 误 并 重启 被 测 进程 。 一 个 常见 的 做 法 是 测试 程序 启动 一 个 线程 来 计时 , 一 旦 该 
线程 发 现 测试 函数 的 执行 时 间 超 过 预定 值 , 就 会 向 执行 测试 函数 的 线程 发 出 终止 消息 。 在 收 到 终 
止 消息 后 ， 测 试 执行 线程 会 退出 当前 测试 ， 并 让 测试 清理 代码 重 置 测试 环境 。 


对 于 复杂 产品 的 系统 测试 , 一 个 独立 的 监控 进程 (甚至 一 组 监控 进程 ) 可 能 是 更 健壮 的 测试 
设计 。 当 测试 代码 进行 复杂 操作 时 ， 它 也 可 能 陷于 死 循环 、 死 锁 等 错误 中 ,使 得 整个 测试 进程 失 
去 响应 。 此 时 ,运行 在 测试 进程 内 部 的 计时 线程 和 测试 清理 代码 可 能 没有 机 会 运行 , 使 得 整个 自 
动 化 流程 无 法 发 现 测试 已 经 停滞 并 进行 自我 修复 。 对 于 这 种 情况 ， 测 试 人 员 可 以 考虑 图 6-3 所 未 
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的 架构 , 用 一 个 监控 进程 去 监视 并 管理 测试 进程 和 产品 进程 。 它 一 旦 发 现 某 个 进程 失去 响应 或 运 
行 超时 , 就 记录 错误 日 志 并 终止 该 进程 。 如 果 是 产品 进程 被 终止 , 测试 进程 会 发 现 产品 进程 退出 ， 
它 会 执行 测试 清理 代码 ,并 启动 下 一 条 测试 。 如果 是 测试 进程 发 生 问 题 ， 监 控 进 程 通常 会 终止 所 
有 进程 ， 并 重启 测试 进程 以 执行 下 一 条 测试 。 通常 ， 监 控 代 码 相对 简单 ， 其 发 生 错 误 的 概率 低 于 
其 他 程序 ， 有 助 于 实现 稳定 的 故障 恢复 和 测试 重 置 。 


监控 进程 
监控 监控 

测试 进程 操控 产品 进程 
观察 


图 6-3 ”监控 进程 
实践 3: 采用 多 种 技术 记录 测试 执行 过 程 和 被 测 产 品 表现 
如 代码 清单 6-4 所 示 的 单元 测试 利用 断言 ( Assert.AreEqual ) 和 异常 来 报告 软件 错误 ， 并 将 
这 些 信息 写 和 测试 日 志 。 因 为 单元 测试 目标 明确 、 代 码 短小 ,程序 员 参 照 测试 代码 阅读 测试 日 志 
就 以 大 致 了 解 测 试 代 码 的 执行 情况 。 通 常 ， 他 根据 断言 或 异 信息 就 以 定位 出 错 的 测试 语句 ， 向 前 
浏览 一 段 测 试 代码 就 能 够 了 解 出 错 的 原因 。 


系统 测试 的 流程 较 长 , 覆盖 产品 的 多 个 功能 和 部 件 , 可 能 暴露 出 多 种 不 同类 型 的 缺陷 。 因此 ， 
测试 人 员 应 该 用 多 种 方法 来 监控 产品 和 记录 测试 执行 信息 。 一 方面 是 提供 更 多 的 信息 ,以 便于 错 
误 调 查 ， 另 一 方面 是 从 多 个 角度 检查 软件 ， 从 而 识别 软件 缺陷 。 以 下 是 一 些 常 见 的 实践 方法 。 


口 采用 6.2.3 节 介绍 的 测试 开发 方法 ,通过 日 志 函 数 来 记录 测试 参数 、 测 试 步骤 、 产 品 输出 

等 信息 ， 让 测试 日 志 可 以 提供 测试 执行 和 产品 状态 的 详细 信息 。 

O 采用 6.2.3 节 介绍 的 测试 开发 方法 ， 在 每 一 步 操作 结束 后 ， 检 查 产品 的 状态 和 输出 ,一 旦 
发 现 问题 ， 就 记录 错误 或 抛 出 异常 。 这 有 助 于 尽早 发 现 不 符合 预期 的 异常 情况 ， 使 得 暴 
露 错 误 的 地 点 尽 可 能 地 接近 错误 源头 。 

口 通过 屏幕 截图 来 捕获 产品 的 状态 。 对 于 拥有 图 形 界 面 的 软件 而 言 ， 一 幅 屏幕 截图 可 以 提 

供 其 状态 的 快照 ， 能 够 提供 许多 细节 信息 。 测 试 人 员 可 以 选择 或 开发 支持 屏幕 截图 的 测 

试 框架 。 该 框架 为 测试 开发 提供 了 屏幕 截图 函数 ， 并 且 会 在 测试 失败 时 自动 截取 当前 屏 

幕 ， 将 图 片 保存 在 测试 日 志 目 录 。 利 用 屏幕 截图 函数 ， 测 试 人 员 可 以 在 关键 操作 之 前 或 

之 后 截取 屏幕 ， 以 记录 一 组 产品 的 快照 。 在 调查 测试 失败 时 ， 测 试 人 员 打 开 测 试 日 志 

录 ， 浏览 这 组 屏幕 截图 即 可 以 了 解 产品 对 测试 操作 的 反应 。 在 许多 情况 下 ， 这 批 图 片 将 

提供 测试 失败 的 重要 线索 。 


| 
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O 当 测 试 程序 (或 监控 程序 ) 发 现 产品 处 于 异常 状态 时 ， 它 调用 操作 系统 提供 的 API 生 成 产 
品 进程 的 内 存 转 储 文件 。 该 文件 可 以 帮助 测试 人 员 了 解 产 品 状态 的 细节 ， 提 高 故障 诊断 


的 效率 。 此 外 ， 测 试 程序 可 以 修改 操 f 


FE 系统 配置 ， 让 操作 系统 自动 生成 崩溃 进 程 的 内 存 


转 储 文件 。 在 测试 结束 时 ， 测 试 程序 将 新 生成 的 内 存 转 储 文件 移动 到 测试 日 志 目 录 ， 以 
上 共 测 试 人 员 分 析 。 


O 对 于 长 时 间 运 行 且 不 重启 产品 的 系统 测试 ， 测 试 程序 需要 持续 监控 产品 的 性 能 指标 和 资 
源 占用 情况 。 常 见 的 性 能 指标 包括 产品 对 用 户 操作 的 响应 时 间 、 完 成 特定 任务 的 时 间 、 
在 单位 时 间 内 完成 业务 的 数量 等 ;常见 的 资源 对 象 包括 CPU、 
数据 库 连 接 等 。 如 果 发 现 产品 出 现 速度 迟缓 、 资 源 占 用 过 多 、 
序 需 要 记录 错误 信息 ， 并 保存 内 存 转 储 文件 和 相关 性 能 数据 。 
测试 才能 其 露 的 问题 。 


实践 4: 利用 关系 型 数据 库存 储 测 试 数据 和 产品 输出 


如 果 系统 测试 需要 庞大 的 测试 数据 或 产品 会 产生 大 量 的 输出 数据 ， 
型 数据 库 来 管理 这 些 输入 或 输出 数据 。 以 下 是 两 个 案例 。 


内 存 、 句 柄 、 网 络 带 宽 、 
资源 泄漏 等 问题 ， 测 试 程 
这 有 助 于 发 现 一 些 长 时 间 


测试 人 员 可 以 考虑 用 关系 


案例 1: 订单 处 理 服务 A 是 整个 工作 流 的 一 部 分 ， 它 从 订单 数据 库 中 读 取 订单 ， 对 各 个 字段 


进行 计算 ， 然 后 将 计算 结果 写 回 订单 数据 库 ， 供 其 他 服务 继续 处 到 


EE 在 产品 环境 中 ， 该 服务 每 天 


会 处 理 大 量 的 订单 , 产生 许多 计算 结果 。 测试 人 员 开 发 了 多 种 自动 化 测试 , 从 多 个 角度 来 测试 它 。 
其 中 一 种 方法 是 从 数据 库 的 角度 来 测试 服务 A， 其 架构 如 图 6-4 所 示 ， 其 执行 过 程 如 下 。 


启动 与 停止 

测试 程序 “一 “| 订单 处 理 服务 A 
调用 测试 用 途 测试 数据 库 

的 存储 过 程 + 产品 数据 库 架 构 

读 取 测 试用 和 途 - 测试 用 途 的 表格 、 
的 表格 存储 过 程 等 


(1) 测试 程序 调用 测试 人 员 编写 的 数据 库 创 建 脚 本 ， 生 成 名 字 唯 


的 架构 包含 产品 数据 
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图 6-4 用 测试 数据 库 来 测试 订单 处 理 服务 


库 架 构 以 及 一 组 测试 用 途 的 表格 和 存储 过 程 。 


的 测试 数据 库 。 该 数据 库 


6.2 ”注重 实效 的 自动 化 测试 


(2) 测试 程序 调用 测试 数据 库 的 存储 过 程 ImportOrder， 将 一 批 订单 数据 从 源 数据 库 导 入 到 测 
试 数据 库 。 源 数据 库 的 订单 包含 产品 数据 库 的 真实 数据 和 测试 人 员 制 造 的 测试 数据 。 

(3) 测试 程序 修改 服务 A 的 数据 库 链接 字符 串 ， 让 它 指 向 测试 数据 库 。 

(4) 测试 程序 启动 服务 A。 

(5) 服务 A 持续 从 测试 数据 库 读 取 订单 ， 并 将 结果 写 回 测试 数据 库 。 

(6) 测试 程序 调用 测试 数据 库 的 存储 过 程 CheckProgress， 以 检查 尚未 处 理 的 订单 数量 。 如 果 
服务 A 没 有 在 规定 时 间 内 完成 所 有 订单 计算 ， 测 试 程 序 会 记录 错误 信息 ， 并 终止 测试 。 

(7) 在 服务 A 完 成 了 订单 计算 之 后 ， 测 试 程序 调用 测试 数据 库 的 存储 过 程 CheckResult， 以 检 
查 数据 库 中 的 计算 结果 。 该 存储 过 程 调用 一 组 存储 过 程 ， 从 多 个 角度 分 析 服 务 A 的 输出 。 如 果 它 
们 发 现 了 错误 ， 会 将 错误 信息 写 人 表格 TestErros。 

(8) 测试 程序 读 取 表格 TestErros。 如 果 表 格 为 空 ， 测 试 程序 记录 测试 通过 。 如 果 表 格 不 为 空 ， 
测试 程序 记录 测试 失败 ， 并 将 测试 数据 库 的 连接 字符 串 写 人 测试 日 志 ， 供 测试 人 员 分 析 。 因 为 测 
试 程序 每 次 会 创建 不 同名 字 的 测试 数据 库 ， 所 以 之 后 的 测试 执行 不 会 删除 或 修改 之 前 的 测试 数 
据 库 。 通 常 ， 测 试 数据 库 会 在 几 天 后 被 一 个 定期 执行 的 程序 删除 。 


案例 2: 测试 人 员 将 一 个 性 能 测试 用 例 加 入 每 日 测试 。 该 测试 用 例 覆 盖 了 一 个 典型 的 用 户 情 
景 。 在 测试 用 例 的 最 后 一 步 ， 它 会 检查 测试 执行 的 用 时 。 如 果 用 时 超过 规定 的 时 限 ， 它 会 记录 错 
误 信 息 。 无 论 测试 是 否 失败 , 它 都 会 将 被 测 产 品 的 版 本 号 、 测 试用 例 编号 和 用 时 写 入 一 个 性 能 关 
据 库 。 每 两 周 , 一 个 程序 会 读 取 性 能 数据 库 , 生成 报表 发 送 给 测试 人 员 。 当 测试 人 员 读 到 如 图 6-5 
所 示 的 曲线 图 时 ,他 可 以 快速 了 解 产 品 的 性 能 变化 趋势 。 对 于 编号 为 201 的 测试 用 例 ， 各 个 版 本 
的 用 时 大 致 相同 , 说 明 产 品 在 这 个 用 户 情 景 中 的 速度 表现 比较 稳定 。 对 于 编号 为 202 的 测试 用 例 ， 
版 本 10.05 的 用 时 明显 高 于 之 前 版 本 ,上 暗示 该 版 本 包含 一 些 代 码 变 更 ,使 得 产品 速度 剧烈 下 降 。 
即便 版 本 10.05 的 用 时 没有 超过 规定 的 时 限 ， 测试 人 员 也 可 以 花 一 些 时 间 调 查 性 能 下 降 的 原因 ， 
以 更 好 地 理解 产品 代码 的 变化 。 


10.01 10.02 10.03 10.04 10.05 10.06 10.07 10.08 10.09 10.10 


-=-= 201 
图 6-5 性 能 测试 报表 

由 以 上 两 个 案例 可 以 看 出 数据 库 技 术 在 系统 测试 中 可 以 产生 一 些 积极 作用 。 

口 如 果 产 品系 统 包含 数据 库 ， 那 么 可 以 考虑 在 测试 环境 中 使 用 测试 数据 库 来 模仿 产品 数据 
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库 ， 以 测试 访问 数据 库 的 软件 。 测 试 数据 库 提供 与 产品 数据 库 相 同 的 架构 ( 表 、 视 图 、 
函数 、 存 储 过 程 等 )， 从 而 “无 颖 ”地 融入 被 测 系统 。 它 还 包含 一 组 测试 用 途 的 表 、 函 数 、 


存储 过 程 、 触 发 器 等 对 象 ， 以 便 在 测试 过 程 中 检查 对 数据 库 的 读 写 。 此 时 ， 测 试 数据 库 


是 一 种 模拟 对 象 ， 它 既是 被 测 系统 的 一 部 分 ， 承 担 着 特定 的 业务 任务 ， 又 是 自动 化 测试 


的 一 部 分 ， 承 担 着 测试 系统 的 工作 。 


O 数据 库 提 供 了 强大 的 数据 存储 和 处 理 能 力 。 利 用 SQL 语言 , 测试 人 员 能 够 方便 且 高 效 地 查 
询 、 修 改 、 生 成 大 量 的 数据 。 这 对 自动 化 测试 的 数据 准备 、 结 果 检 查 、 报 告 生成 等 任务 


很 有 帮助 。 


口 利用 数据 库 可 以 方便 地 分 析 数 据 。 在 测试 设计 、 故 障 诊断 等 任务 中 ,测试 人 员 都 需要 分 


析 产 品 所 读 取 和 产生 的 数据 。 如 果 这 些 数据 存储 在 数据 
灵活 地 探索 它们 ， 通 过 反复 地 查询 、 分 析 、 再 查询 来 理 
个 系统 的 行为 。 


库 中 , 测试 人 员 可 以 用 SQL 查询 去 
解数 据 状 态 ， 从 而 更 好 地 把 握 整 


O 利用 数据 库 可 以 方便 地 生成 报表 。 目 前 ， 有 多 种 成 熟 的 技术 可 以 读 取 数 据 库 ， 并 生成 各 
种 图 表 。 测 试 人 员 可 以 采纳 合适 的 技术 ， 来 分 析 测 试 数据 或 测试 结果 ， 并 获得 数据 的 可 


视 化 表示 。 这 有 助 于 测试 人 员 快 速 理解 数据 ， 发 掘 其 中 
实践 5: 恰当 地 利用 基于 图 形 界面 的 “捕获 回放 ”技术 


的 信息 。 


在 软件 测试 中 , 捕获 回放 是 指 用 工具 捕获 外 界 对 软件 的 操作 , 并 记录 为 测试 脚本 ,然后 根据 
脚本 去 回放 事件 来 操控 软件 , 并 检查 软件 的 反应 。 基 于 图 形 界面 的 捕获 回放 技术 记录 用 户 对 软件 
的 输入 事件 ,包括 键盘 和 输入、 鼠标 点 击 、 触 摸 手势 等 ， 并 通过 回放 这 些 事件 来 复 现 操作 流程 。 基 
于 该 技术 , 测试 人 员 可 以 将 手工 的 测试 过 程 录制 为 测试 脚本 , 然后 重播 该 脚本 来 检查 软件 的 行为 


与 录制 时 的 行为 保持 一 致 。 


基于 图 形 界面 的 捕获 回放 位 于 自动 化 测试 金字 塔 的 项 层 , 拥有 较 高 的 测试 维护 代价 , 并 不 适 


合作 为 回归 测试 在 项 目 中 反复 运行 。 其 主要 技术 局 限 如 下 。 


令 ， 而 重新 录制 的 脚本 不 包含 这 些 额外 的 命令 。 测 试 人 
这 提高 了 测试 维护 的 成 本 。 


O 录制 所 得 的 脚本 的 可 读 性 较 差 。 它 只 是 忠实 地 记录 了 手工 测试 的 动作 〈 常 党 包含 一 些 元 
余 的 动作 )， 没 有 体现 出 测试 的 意图 。 因 此 ， 理 解 测试 脚本 是 一 项 困难 的 任务 。 

口 录制 所 得 的 脚本 依赖 于 录制 时 的 软件 界面 。 当 软件 界面 发 生变 动 时 ， 脚 本 需要 被 修改 或 
重新 录制 。 在 许多 项 目 中 ， 软 件 界面 会 快速 演化 ， 这 显著 提高 了 修正 脚本 的 频率 。 

口 为 了 完善 测试 逻辑 ， 测 试 人 员 会 修改 录制 的 脚本 ， 以 增加 一 些 额外 的 操作 命令 或 检查 指 


员 需 要 在 新 脚本 中 再 次 添加 它们 ， 


口 基于 图 形 界 面 的 测试 常常 受到 各 种 因素 的 干扰 ， 而 不 够 稳定 。 例 如 ， 测 试用 例 向 软件 发 送 
英文 字符 串 ， 以 提供 字段 值 。 在 测试 执行 时 ， 中 文 输入 法 因为 某 种 原因 被 启动 ， 于 是 实际 
输入 的 字符 串 是 中 文字 符 串 。 软 件 发 现 输 入 字符 串 的 格式 不 正确 ， 于 是 报告 操作 失败 。 如 
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果 回 归 测 试 产生 大 量 此 类 虚假 失败 ， 测 试 人 员 将 因为 调查 和 修复 它们 耗费 大 量 的 时 间 。 


6.2 ”注重 实效 的 自动 化 测试 


虽然 基于 图 形 界面 的 捕获 回放 不 适合 反复 运行 的 回归 测试 , 但 它 适 用 于 一 些 短 期 的 测试 任 
务 。 测 试 人 员 可 以 利用 捕获 技术 来 快速 生成 测试 脚本 ,然后 用 回放 技术 来 重复 播放 测试 脚本 ， 
以 完成 一 些 操 作 密 集 的 测试 任务 。 例 如 ,测试 人 员 需 要 评估 被 测 网 站 的 性 能 ， 他 采用 如 下 步骤 
实施 测试 。 


(D 走访 产品 经 理 ， 了 解 网 站 需要 支持 多 少 并 发 会 话 ， 并 确定 一 组 典型 的 用 户 情景 。 

(2) 走访 实际 用 户 ， 与 他 们 讨论 并 完善 这 组 使 用 情景 ， 并 确定 每 个 情景 的 使 用 频率 。 

(3) 根据 前 两 步 的 结果 ， 明 确 基本 测试 需求 : 该 网 站 最 多 支持 500 个 并 发 会 话 ， 拥 有 6 个 典型 
的 用 户 情 景 。 

(4) 选择 一 个 功能 稳定 的 版 本 作为 测试 对 象 ， 并 搭建 测试 环境 。 

(5) 使 用 捕获 回放 工具 来 录制 这 6 个 情景 。 对 于 每 个 情景 ， 他 先 手 工 操作 一 遍 ， 然 后 回放 录制 
所 得 的 脚本 。 如 果 脚 本 不 能 准确 再 现 手 工 操作 的 流程 , 他 会 调试 并 修改 脚本 , 或 者 重新 录制 一 遍 。 
因为 他 使 用 的 捕获 回放 工具 比较 成 熟 ， 获 得 一 个 稳定 的 脚本 只 需 15~20 分 钟 ， 所 以 他 只 用 两 个 小 
时 就 生成 了 所 有 脚本 。 如 果 通 过 编码 来 实现 这 些 脚 本 ， 他 可 能 需要 1~2 天 的 时 间 。 捕 获 回放 工具 
提高 了 测试 开发 的 效率 。 

(6) 用 一 个 虚拟 用 户 来 分 别 运 行 6 个 脚本 ， 获 得 它们 在 单 用 户 情况 下 的 基线 性 能 数据 。 

(7) 用 测试 工具 生成 50 个 虚拟 用 户 ， 并 发 地 执行 这 6 个 脚本 。 他 根据 使 用 频率 来 分 配 虚拟 
用 户 数 ， 即 最 常见 的 用 户 情景 获得 最 多 的 虚拟 用 户 ， 相 对 少见 的 用 户 情景 获得 较 少 的 虚拟 用 
户 。 该 测试 持续 10 分 钟 ， 每 个 虚拟 用 户 都 反复 执行 了 它 所 获得 的 脚本 。 测 试 人 员 收 集 到 一 批 
性 能 数据 。 

(8) 执行 测试 ， 以 获得 100 个 、200 个 、300 个 、400 个 、500 个 虚拟 用 户 的 性 能 数据 。 

(9) 用 测试 工具 生成 600 个 虚拟 用 户 ， 以 检查 超过 预期 峰值 的 流量 会 对 网 站 产生 何 种 影响 。 

(10) 运行 1000 个 虚拟 用 户 的 压力 测试 ， 并 收集 性 能 数据 。 

(11) 分 析 所 有 性 能 数据 ， 编 写 性 能 测试 报告 以 总 结 测试 发 现 ， 然 后 将 报告 发 送 给 项 目 团队 。 

(12) 根据 团队 成 员 对 性 能 测试 报告 所 提出 的 问题 ， 设 计 并 执行 新 的 测试 ， 以 获得 答案 。 


= 


分 析 以 上 步骤 不 难看 出 ， 该 测试 策略 回避 了 捕获 回放 的 基本 缺点 。 首 先 ,测试 人 员 只 录制 少 
量 的 脚本 来 覆盖 典型 的 用 户 情景 ,这 降低 了 意外 因素 对 测试 运行 的 影响 。 其 次 ,所 录制 的 脚本 只 
针对 特定 版 本 ， 从 而 不 必 担 心 用 户 界面 变更 导致 的 测试 失败 。 再 次 ,下 次 执行 系统 级 的 性 能 测试 
时 ， 网 站 可 能 拥有 新 的 界面 和 用 户 情 景 ， 测 试 人 员 会 放弃 失效 的 脚本 ， 录 制 新 的 脚本 。 由 于 录制 
新 脚本 的 开销 很 低 ， 测 试 人 员 无 需 在 意 这 批 脚本 的 可 读 性 和 可 修改 性 。 


目前 ,主流 的 捕获 回放 工具 对 脚本 录制 、 脚 本 播放 、 虚 拟 用 户 生 成 、 性 能 数据 收集 、 性 能 数 
据 分 析 都 提供 了 较 好 的 支持 。 测 试 人 员 可 以 在 一 天 内 完成 第 (5) 步 ~ 第 (11) 步 的 脚本 生成 、 测 试 运 
行 、 数 据 分 析 和 报告 编写 。 这 加 快 了 性 能 测试 的 反馈 速度 ,提高 了 性 能 测试 的 机 动 性 。 对 于 一 些 
项 目 团 队 ， 基 于 图 形 界 面 的 捕获 回放 技术 为 此 类 测试 提供 了 足够 好 的 解决 方案 。 
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Q 6# 测试 开发 


实践 6: 为 测试 执行 和 失败 调查 制定 明确 的 工作 流程 


编写 自动 化 系统 测试 的 目的 是 为 了 获得 产品 的 质量 信息 , 所 以 编写 代码 只 完成 了 工作 的 一 部 
分 。 系 统 测试 比 单元 测试 复杂 得 多 , 需要 大 量 的 时 间 来 运行 , 会 产生 大 量 且 复杂 的 错误 信息 。 如 
RATE, 测试 小 组 可 能 无 法 及 时 、 有 效 地 处 理 这 些 信息 , 也 不 能 快速 地 修复 测试 代码 的 错误 。 
久而久之 ,测试 用 例 集 会 包含 很 多 有 问题 的 测试 用 例 , 产生 伴随 大 量 “ 噪 音 ” 的 测试 结果 ， 并 失 
去 测试 人 员 的 信任 。 为 了 推动 系统 测试 的 良性 发 展 , 测试 小 组 需要 制定 工作 流程 ， 以 明确 地 回答 
以 下 问题 。 


口 由 自动 化 系统 测试 组 成 的 回归 测试 用 例 集 有 哪些 ? 
口 这 些 回 归 测 试用 例 集 以 什么 频率 运行 ? 
口 谁 负责 启动 这 些 回归 测试 用 例 集 ? 
口 谁 负责 搭建 并 维护 系统 测试 的 测试 环境 ? 
口 谁 负责 发 送 测试 用 例 集 的 测试 结果 报告 ? 
口 谁 负责 调查 测试 失败 ?是 测试 编写 者 调查 ， 还 是 团队 共同 调查 ? 
口 测试 失败 调查 的 完成 标准 是 什么 ? 
口 测试 失败 调查 需要 在 什么 时 限 内 完成 ? 
口 谁 负责 修复 有 错误 的 测试 代码 ? 
口 测试 代码 修复 完成 的 标准 什么 ? 
口 测试 代码 修复 需要 在 什么 时 限 内 完成 ? 
O 如 果 需 要 临时 打破 测试 运行 、 调 查 、 修 复 的 例 行 流程 ， 应 该 采取 什么 行动 ? 
O 如 果 需 要 修改 测试 运行 、 调 查 、 修 复 的 例 行 流程 ， 应 该 采取 什么 行动 ? 
如 果 将 测试 代码 视 为 基于 产品 代码 的 应 用 , 测试 小 组 就 是 该 应 用 的 运 维 团 队 。 测试 领导 和 测 
试 人 员 应 该 共同 制定 出 运行 、 调 查 、 修 改 、 增 强 自 动 化 测试 的 流程 和 制度 。 只 有 明确 人 员 责 任 、 
工作 目标 、 工 作 期 限 、 变 更 方法 ， 才 有 可 能 让 复杂 的 自动 化 系统 测试 持续 地 提供 价值 。 


6.2.6 ”让 自动 化 测试 服务 于 项 目 


自动 化 测试 的 目标 是 帮助 整个 团队 更 好 地 开发 产品 。 在 不 同 的 项 目 , 测试 小 组 会 采用 不 同 的 
自动 化 策略 来 达成 该 目标 。 一 般 说 来 ， 好 的 自动 化 测试 能 够 平滑 地 融入 开发 流程 快速、 稳定 、 
持续 地 提供 产品 的 质量 信息 。 本 节 分 享 我 的 一 次 自动 化 经 历 , 虽然 实践 方法 只 适用 于 特定 的 项 目 ， 
但 是 仍 体现 了 一 些 好 的 思路 和 经 验 。 


我 曾经 参与 过 一 个 分 布 式 系统 的 测试 。 当 时 ,测试 小 组 实践 了 一 种 与 持续 集成 [Duvall07] 类 
似 的 测试 活动 : 滚动 测试 。 这 是 一 个 全 自动 的 编译 和 测试 过 程 。 在 每 个 小 时 ， 测 试 脚 本 从 源 代 
码 管理 系统 获得 最 新 版 本 的 代码 ,进行 完整 的 编译 。 然 后 ,在 一 人 台 干 净 的 机 天 上 部 署 新 构建 的 系 
统 ， 并 执行 端 到 端的 系统 测试 。 最 后 ， 用 电子 邮件 将 测试 结果 发 送 给 项 目 团队 。 


- 190: 


6.2 ”注重 实效 的 自动 化 测试 


滚动 测试 不 是 严格 意义 上 的 持续 集成 , 不 过 它 发 挥 了 相似 的 作用 。 我 和 同事 希望 通过 它 来 达 
成 以 下 目标 。 


口 尽快 地 发 现 集成 错误 。 开 发 者 在 自己 的 开发 环境 中 工作 ， 他 所 看 到 的 系统 是 他 最 后 一 次 
今 出 的 结果 ， 他 根据 这 一 版 本 的 “知识 ”来 开发 新 的 功能 。 虽 然 两 个 开发 者 基于 相同 的 
“知识 ”进行 开发 ， 但 是 不 能 保证 他 们 所 构造 的 新 “理论 ”是 相互 一 致 的 。 往 往 ， 两 部 分 
代码 都 通过 了 单元 测试 ， 但 是 提交 之 后 却 引发 了 集成 错误 。 滚 动 测试 用 端 到 端的 系统 测 
试 弥补 了 单元 测试 的 不 足 ， 能 够 快速 提供 系统 级 的 测试 反馈 。 

节省 开发 时 间 。 集成 错误 往往 会 阻碍 全 面 的 系统 测试 。 例如, 模块 A 不 能 正确 解释 模块 
B 的 输出 ， 它 抛 出 异常 并 停止 工作 。 这 时 ， 系 统 测试 将 无 法 覆盖 模块 A 及 其 后 续 模 块 的 
代码 。 这 将 严重 影响 测试 效率 ， 甚 至 使 得 每 日 运行 的 全 面 回 归 测 试 变 得 毫 无 效果 。 滚 
动 测试 可 以 在 代码 检 入 之 后 的 一 个 多 小 时 内 捕获 到 此 类 严重 错误 ， 让 开发 者 能 够 在 第 
一 时 间 修 正 错 误 ， 清 除 测试 障碍 。 有 了 时 开发 者 的 修正 会 引入 的 新 的 集成 错误 ， 深 动 测 
试 的 安全 网 会 再 次 捕捉 到 它 ， 于 是 我 们 有 机 会 保证 : 在 下 班 回 家 的 时 候 ， 没 有 明显 的 
集成 错误 。 

发 现 环 境 错误 。 所 有 的 开发 者 都 应 该 听从 John Robbins 的 忠告 : 不 要 在 开发 机 上 使 用 管理 
员 权 限 [Robbins07]。 不 过 和 久 经 世故 的 Cem Kaner 也 说 过 :“ 本 书 介绍 的 测试 ， 假 定 的 前 提 
是 你 的 同伴 现在 没有 、 将 来 也 不 会 并 且 也 没有 必要 遵循 这 些 规定 。 [Kaner99] 由 于 开发 者 
在 开发 机 上 拥有 管理 员 权 限 ， 他 们 安装 了 各 式 各 样 的 工具 和 运行 库 ， 我 们 无 法 保证 所 开 
发 出 的 系统 能 够 在 其 他 环境 中 以 合适 的 权限 正常 工作 。 滚 动 测试 在 干净 的 机 器 上 部 署 被 
测 系统 ， 能 够 发 现 许 多 在 开发 环境 中 无 法 发 现 的 错误 。 所 谓 干 净 的 机 器 ， 并 不 要 求 重 新 
安装 操作 系统 ， 只 是 要 求 完 整地 撮 载 了 旧版 本 的 系统 。 

口 保证 被 测 版 本 的 基本 质量 。 这 使 测试 团队 更 有 信心 进行 大 规模 的 功能 测试 和 压力 测试 。 


在 确定 目标 后 ， 我 们 进行 了 紧张 的 测试 开发 ， 在 很 短 的 时 间 内 完成 了 编码 和 测试 环境 搭建 ， 
开始 了 整个 流程 的 运转 。 以 下 是 当时 的 开发 策略 。 


O 全 自动 地 编译 、 部 署 和 测试 。 如 图 6-6 所 示 ， 定 时 任务 在 每 个 整 点 触发 流程 ， 测 试 脚本 从 
源 代码 管理 系统 获得 最 新 代码 ， 然 后 调用 编译 工具 执行 完整 的 编译 。 如 果 编 译 失败 ， 测 
试 脚本 发 邮件 报告 编译 失败 ， 然 后 终止 流程 。 如 采编 译 成 功 ， 它 在 一 全 干净 的 机 右上 部 
署 整 个 系统 ， 调 用 测试 框架 执行 系统 测试 。 最 后 ， 它 汇总 测试 结果 ， 生 成 测试 报告 ， 并 
用 邮件 发 送 给 负责 滚动 测试 的 测试 人 员 。 

部 署 完 整 的 系统 。 对 于 一 些 分 布 式 系统 而 言 , 将 所 有 的 子 系统 部 署 在 一 台 机 右上 有 些 “ 不 
合 情 理 "。 但 是 ， 部 署 所 有 的 子 系统 可 以 测试 到 所 有 的 子 系统 的 安装 ， 也 能 够 检查 出 由 于 
子 系统 冲突 造成 的 安装 失败 。 安 装 是 任何 系统 的 核心 功能 ， 是 滚动 测试 必 不 可 少 的 测试 
内 容 。 此 外 ,在 部 署 最 新 版 本 之 前 ， 滚 动 测试 会 反 安装 旧版 本 的 系统 。 这 也 测试 了 系统 
的 反 安 装 功能 。 


口 


口 


口 
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口 用 DOS 脚 本 串联 各 步 又。 从 以 上 流程 可 以 看 出 ， 滚 动 测试 所 使 用 的 工具 无 非 是 : 操作 系 
统 的 定时 任务 、 源 代码 管理 工具 、 构 建 工 具 、 自 动 化 测试 框架 、 内 部 邮件 系统 ， 这 些 都 
是 项 目 团队 的 常备 工具 。 因 此 ， 用 合适 的 方法 将 工具 连接 起 来 ， 构 建 出 完整 的 流程 ， 是 
架设 滚动 测试 的 主要 任务 。 在 Windows 平 台 上 ，DOS Shell 是 最 常用 的 脚本 技术 ， 可 以 满 
足 大 部 分 的 要 求 ， 于 是 我 们 用 它 来 连接 既 有 工具 。 

口 滚动 测试 要 能 够 在 30 分 钟 内 完成 。 如 果 滚 动 测试 发 现 了 错误 ， 开 发 人 员 需 要 在 滚动 测试 
环境 中 调查 故障 原因 。 为 了 不 影响 下 一 次 滚动 测试 ， 一 般 要 留 下 30 分 钟 的 时 间 给 开发 人 


员 进 行 诊断 。 
构建 服务 器 测试 计算 机 测试 人 员 
(2) 通知 测试 计算 (5) 发 送 测 试 C) 
机 获取 最 新 构建 结果 邮件 
| - Wy 
(1) 在 整 点 ， 获 得 (3) 安装 构建 
最 新 代码 并 编译 (4) 运行 测试 


图 6-6 ”滚动 测试 流程 


编码 完成 只 是 测试 开发 的 第 一 步 , 更 重要 的 是 在 测试 迭代 中 维护 测试 代码 , 让 它们 持续 为 项 
目 作 出 贡献 。 为 了 快速 启动 深 动 测试 , 第 一 版 的 测试 用 例 集 是 较 简 陋 的 ， 只 包含 几 条 很 简单 的 测 
试用 例 。 随 着 测试 的 推进 ， 我 们 持续 改进 测试 用 例 集 。 以 下 是 当时 的 维护 策略 。 


口 测试 用 例 集 包 含 最 重要 的 端 到 端 系统 测试 。 滚 动 测试 的 主要 目的 是 发 现 集成 错误 ， 因 此 
测试 执行 应 该 能 够 “从 输入 到 输出 ”覆盖 到 所 有 的 子 系统 。 考 虑 到 用 户 价值 ， 测 试用 例 
应 该 能 够 体现 最 重要 的 用 户 情景 。 由 于 深 动 测试 的 时 间 有 限 ， 测 试用 例 应 该 “ 贵 精 不 贵 
多 "， 用 较 少 的 用 户 情景 覆盖 所 有 的 子 系统 。 


口 


口 


测试 用 例 只 进行 必要 的 检查 。 有 些 功能 难以 用 简单 的 测试 用 例 来 覆盖 ， 这 时 可 以 构建 独 


立 的 测试 用 例 集 来 检验 它 不 存在 严重 的 错误 。 滚 动 测试 的 目的 不 是 检查 出 所 有 的 错误 ， 


而 是 发 现 那些 会 阻碍 进一步 测试 的 缺陷 。 因 此 ， 不 需要 构建 完备 、 严 厉 的 测试 用 例 集 ， 


只 需要 验证 子 系统 的 基本 功能 可 以 工作 即 可 。 


确保 所 有 的 测试 用 例 是 正确 的 。 有 时 系统 的 设计 会 发 生变 更 ， 这 会 导致 部 分 测试 用 例 需 


要 更 新 。 更 新 测试 用 例 的 工作 有 可 能 需要 几 个 工作 日 才能 完成 。 这 时 ， 应 该 将 这 些 测试 
用 例 从 滚动 测试 中 排除 出 去 。 和 否则 ， 当 滚动 测试 报告 测试 执行 失败 时 ， 测 试 人 员 不 能 立 
即 判断 是 被 测 系统 的 问题 还 是 测试 用 例 的 问题 ， 这 将 严重 降低 滚动 测试 的 报警 作用 。 特 
别 是 ， 如 果 测 试 人 员 “ 黑 认 ” 测 试 失 败 是 测试 用 例 的 问题 ， 那 么 他 有 可 能 漏 过 严重 的 集 


成 错误 。 
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口 及 时 地 维护 测试 用 例 集 。 系 统 会 增加 新 的 模块 、 用 户 情 景 会 发 生变 化 、 测 试 工具 会 需要 
更 新 ， 这 都 要 求 我 们 及 时 地 维护 滚动 测试 的 测试 用 例 集 ， 以 确保 测试 用 例 集 可 以 覆盖 到 
所 有 的 子 系统 ， 且 不 包含 错误 的 测试 用 例 。 

口 及 时 地 响应 测试 报告 。 深 动 测试 的 威力 在 于 根据 测试 结果 采取 及 时 的 行动 。 如 果 对 于 每 
小 时 一 次 的 错误 报告 采取 漠视 的 态度 ， 那 么 之 前 所 花费 的 精力 将 毫 无 价值 。 我 的 做 法 是 
利用 Microsot Outlook 的 邮件 规则 ， 对 测试 报告 邮件 生成 一 个 通知 。 当 测试 报告 到 达 时 ， 
Outlook 会 弹出 一 个 对 话 框 ， 我 只 需要 按 一 下 “ 回 车 ” 键 ， 就 可 以 看 到 报告 内 容 。 如 果 有 
问题 ， 则 进行 调查 ;如 果 没 有 问题 ， 按 两 下 “取消 ” 刍 就 可 以 关闭 邮件 和 对 话 框 。 此 外 ， 
我 还 设置 了 男 一 条 邮件 规则 ， 将 所 有 的 测试 报告 邮件 归档 到 一 个 单独 的 文件 夹 中 。 


由 本 节 讨论 可 以 看 出 , 计划 、 开 发 和 维护 是 自动 化 测试 的 基本 元 素 。 测试 小 组 需要 付出 持续 
的 努力 ， 才 能 让 自动 化 测试 有 效 地 为 项 目 服务 。 
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为 了 完成 测试 使 命 , 测试 人 员 需 要 开发 各 种 类 型 的 代码 。 这 些 代码 不 但 可 以 用 于 执行 自动 化 
测试 ， 还 可 以 支持 测试 分 析 、 环 境 配置 、 数 据 生成 、 失 败 调 查 、 结 果 管 理 等 测试 任务 。 本 章 已 经 
讨论 了 自动 化 测试 ， 本 节 将 介绍 支持 其 他 测试 任务 的 软件 开发 。 
虽然 不 同类 型 的 测试 开发 会 得 到 看 似 分 离 的 代码 , 但 是 它们 都 服务 于 项 目测 试 , 也 常常 会 相 
互 调 用 、 彼 此 补充 ,所 以 它们 可 以 共享 相同 的 开发 原则 和 实施 相似 的 开发 方法 。 自 动 化 测试 的 开 
发 可 以 参考 本 节 介 绍 的 策略 ， 测 试 工具 的 开发 也 可 以 考虑 本 章 已 经 介绍 的 实践 。 


6.3.1 “交通 工具 ”的 隐喻 


测试 专家 Johnathan Kohl 提 出 了 “交互 式 自动 化 测试 ”区 ohl07]， 其 测试 开发 的 目标 不 是 让 自 
动 化 测试 取代 手工 测试 ， 而 是 创建 测试 工具 来 提高 测试 人 员 的 能 力 ， 从 而 实施 更 有 效 的 测试 。 为 
了 更 好 地 表达 思想 ， 他 将 不 同 的 测试 方式 比喻 为 不 同 的 “交通 工具 "”。 这 是 一 组 生动 且 传神 的 隐 
喻 , 很 值得 测试 人 员 品 味 。 本 节 将 他 的 论述 摘录 如 下 。 


a 7 
我 喜欢 走 着 上 班 。 我 很 享受 风景 、 运 动 以 及 一 边 漫步 一 边 思考 问题 的 时 光 。 在 户外 
新 鲜 的 空气 中 ,在 远离 电脑 的 思考 中 ,我 获得 了 一 些 极 好 的 想法 。 沿 途 的 观察 激发 了 灵 
感 ， 将 我 引 向 创造 性 的 解决 方案 。 
但 是 步行 是 缓慢 的 ， 如 果 我 驻足 观赏 可 爱 的 动物 或 享受 日 出 霞光 映 红 的 山脉 , 我 很 
可 能 会 迟到 。 所 以 ， 在 赶 时 间 的 时 候 ， 我 会 搭乘 公共 交通 。 虽 然 公 共 汽车 或 列车 仍旧 伴 
随 着 步行 ,但 是 我 能 用 快 得 多 的 速度 及 时 地 到 达 目 的 地 。 我 极 少 驾车 上 班 ， 因 为 这 让 我 


" 193 ， 


Q 6# 测试 开发 


无 暇 去 观察 和 思考 。 但 是 ， 当 别人 驾车 时 ,我 能 够 从 旅途 中 获得 很 多 。 例如 ， 最近 我 坐 
列车 去 上 班 ， 在 路 上 发 现 了 以 前 从 未 注意 到 的 河谷 峭壁 。 我 曾经 多 次 经 过 河谷 ,但 是 直 
到 坐 上 轻轨 的 那天 ,在 没有 步行 或 驾车 分 心 的 情况 下 ， att BJA tay ay A BLES a AY 
景色 。 

一 一 Jonathan Kohl, Man and Machine 


在 Jonathan Kohl 的 论述 中 ,他 将 不 同 的 测试 活动 比喻 为 不 同 的 交通 方式 ， 每 种 方式 都 有 其 优 
点 与 不 足 。 


口 手工 测试 是 步行 。 在 漫游 产品 的 过 程 中 ， 测 试 人 员 可 以 观察 到 丰富 的 细节 ， 能 够 随时 暂 
停 预 定 的 测试 路 线 ， 对 感 兴趣 的 局 部 进行 细致 的 测试 。 其 不 足 是 推进 的 速度 较 慢 ， 有 时 

7S RE CEASE 70 RS BE PN A AT (覆盖 更 多 的 测试 目标 )。 

口 自动 化 测试 是 驾车 。 其 优点 是 速度 快 ， 能 在 短 时 间 内 测试 大 量 的 内 容 ， 其 不 足 是 自动 化 
测试 只 做 规定 的 检查 ， 会 忽视 其 他 所 有 细节 。 即 便 软 件 出 现 一 望 即 知 的 问题 ， 只 要 测试 
代码 没有 做 相应 的 检查 ， 自 动 化 测试 就 会 放 过 它 。 其 实 ， 自 动 化 测试 更 像 地 铁 ， 可 以 将 
大 量 乘客 快速 地 送 到 目的 地 ， 但 是 所 有 旅客 都 无 法 观察 到 地 面 的 风景 。 

口 计算 机 辅助 测试 是 他 人 驾车 。 自 动 化 测试 或 测试 工具 完成 繁重 的 工作 ， 带 着 测试 人 员 快 
速 地 漫游 产品 。 在 测试 过 程 中 ,测试 人 员 监 控 产 品 的 表现 ， 如 果 发 现 问题 ， 他 可 以 “下 
车 ”调查 。 该 策略 综合 了 手工 测试 和 自动 化 测试 的 优点 ， 利 用 软件 工具 来 提高 测试 效率 、 

富 测 试 手段 ， 让 测试 人 员 能 够 更 好 地 观察 、 思 考 与 行动 。 


在 测试 中 ，Jonathan Kohl 会 使 用 Watri”、Watij?”、JUnit* 等 程序 库 和 框架 来 开发 测试 程序 。 有 
些 测试 程序 完成 测试 准备 工作 ， 让 他 方便 地 实施 手工 测试 。 例 如 ， 测 斌 Web 应 用 的 某 个 功能 时 ， 
测试 人 员 需 要 登录 账户 ， 并 完成 若干 操作 ， 才 能 进入 目标 测试 页 面 。 对 此 ，Jonathan 会 编写 测试 
程序 ， 以 驱动 Web 浏 览 器 自动 完成 这 些 操 作 ， 从 而 将 更 多 的 时 间 留 给 测试 执行 。 另 一 些 程序 模拟 
用 户 行为 ， 让 他 可 以 发 现 手 工 测试 不 能 暴露 的 问题 。 例 如 ,他 怀疑 Web 应 用 存在 一 个 多 用 户 并 发 
操作 的 缺陷 。 为 了 模拟 出 多 用 户 的 情景 , 他 编写 了 一 个 程序 在 一 台 计 算 机 上 执行 用 户 动作 , 他 本 
人 则 在 另 一 台 计 算 机 上 执行 手工 测试 。 在 测试 程序 ( 虚拟 用 户 ) 的 帮助 下 ,他 发 现 了 稳定 复 现 该 
缺陷 的 方法 。 还 有 些 程 序 完 成 手工 测试 难以 完成 的 密集 测试 。 例 如， 他 编写 了 一 个 测试 用 例 ， 向 
Web 应 用 的 两 个 字段 提交 超过 5000 个 字符 的 字符 串 。 该 测试 导致 Web 应 用 抛 出 异常 。 根 据 异常 信 
息 ， 他 又 增加 了 几 个 提交 长 字符 串 的 测试 用 例 ， 从 而 在 几 分 钟 内 定位 到 缺陷 的 根源 。 


通过 实践 ，Jonathan Kohl 总 结 了 一 批 计算 机 辅助 测试 的 适用 情景 。 测 试 人 员 可 以 参考 以 下 测 
试想 法 ， 挖 据 更 多 的 测试 程序 需求 。 


D 用 Ruby 语 言 编写 的 测试 Web 应 用 的 程序 库 ，http:/watircomy。 
@ 用 Java 语 言 编写 的 测试 Web 应 用 的 程序 库 ，http:/watij.comy/。 
© 著名 的 Java 语 言 单元 测试 框架 ，http://junit.org/。 
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口 用 程序 完成 需要 反复 执行 的 测试 准备 工作 。 


m 安装 指定 版 本 的 产品 。 


mw 配置 测试 环境 ， 如 修改 注册 表 、 配 置 程序 路 径 、 设 置 产品 参数 、 启 动 调试 器 等 。 


mw 驱动 产品 ， 令 它 完成 一 组 操作 ， 为 后 续 的 测试 做 好 准备 。 
口 用 程序 产生 测试 数据 ， 并 让 产品 使 用 它们 。 


生成 满足 特定 要 求 的 测试 数据 。 一 个 典型 的 例子 是 利用 PICT 和 测试 模型 生成 组 合 测试 


数据 (参见 4.1.1 节 )。 


m 从 其 他 数据 源 导入 一 批 数据 ， 做 必要 的 清理 和 修改 ， 将 它们 作为 产品 的 测试 数据 。 


m 配置 产品 所 依赖 的 数据 文件 或 数据 库 ， 并 填充 测试 数据 。 
口 用 程序 模拟 用 户 操作 。 
n 自动 化 重复 操作 、 常 用 操作 、 典 型 工作 流 ， 以 提高 测试 效率 。 


m 在 测试 网 络 应 用 时 ， 用 测试 程序 模拟 用 户 行为 ， 以 构造 出 多 用 户 使 用 的 情景 。 


口 用 程序 监控 产品 行为 。 


m 解析 产品 的 日 志文 件 ， 报 告 其 中 的 异常 情况 。 
m 分 析 产 品 的 计算 结果 ， 报 告 违反 业务 规则 的 案例 。 
m 监控 产品 的 运行 状态 和 性 能 指标 ， 报 告 运行 过 程 中 暴露 出 的 问题 。 


JonathanKohl 的 实践 表明 手工 测试 和 自动 化 测试 并 不 是 相互 排斥 的 。 优 秀 的 测试 人 员 会 综合 
它们 的 优点 ,开发 出 更 具 威 力 的 测试 策略 , 以 实现 单独 的 手工 测试 或 自动 化 测试 不 能 达到 的 效果 。 


6.3.2 选择 合适 的 开发 技术 


随 着 开发 技术 的 快速 发 展 ， 测 试 人 员 可 以 选择 的 语言 、 程 序 库 、 框 架 、 工 具 越 来 越 多 。 他 应 
该 抱 着 开放 的 心态 ， 学 习 并 尝试 多 种 的 技术 ， 了 解 它 们 的 能 力 、 优 势 和 局 限 。 他 所 掌握 的 技术 越 
多 ， 就 越 可 能 针对 当前 任务 做 出 合理 的 设计 。 而 且 , 测试 任务 是 多 种 多 样 的 ,单一 的 技术 并 不 适 


用 于 所 有 情况 ， 这 也 要 求 测试 人 员 灵 活 运用 多 种 技术 来 实施 高 效 的 测试 。 


本 节 将 通过 一 组 简化 的 案例 来 展示 常见 的 技术 和 方法 。 讨论 的 重点 不 在 技术 本 身 , 而 是 应 用 


技术 的 策略 和 思路 。 
案例 1: 用 AutoHotKey 自 动 化 重复 的 输入 


AutoHotKey "是 一 个 开源 的 鼠标 与 键盘 宏 工具 。 它 提供 了 一 个 简单 的 脚本 语言 ， 


© http://www.autohotkey.com/., 


让 用 户 编写 
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脚本 来 定义 快捷 键 和 对 应 的 
且 用 户 输入 预先 定义 的 的 快 


宏 命 令 。 在 加 载 了 用 户 脚本 之 后 , 它 在 后 台 监 听 用 户 的 键盘 输入 。 一 
捷 键 ， 它 就 会 执行 


宏 命 令 ， 以 自动 完成 一 系列 操作 。 


在 手工 测试 中 ， 测 试 人 员 有 时 得 重复 执行 一 组 机 械 操作 。 为 了 提高 测试 效率 ， 他 可 以 编写 
AutoHotKey 脚 本 来 自动 化 此 类 重复 操作 。 


例如 ， 测试 人 员 测 试 PowerPoint 的 图 片 导出 功能 ， 测 试 任务 需要 检查 导出 的 PNG 图 片 。 他 的 
测试 策略 是 制作 多 种 不 同类 型 的 幻灯 片 页 面 , 然后 输出 为 PNG 图 片 ， 并 审阅 输出 结果 。 为 了 将 文 
档 导 出 为 PNG 图 片 ， 他 可 以 点 击 “File Export Change File Type PNG Portable Network Graphics 
(.*png) Save As”( 详 见 图 6-7 )， 以 启动 “另存 为 ”对 话 框 ， 然 后 输入 目标 路 径 和 文件 名 。 他 发 现 
这 是 一 组 会 反复 执行 的 机 械 操作 ， 于 是 编写 了 代码 清单 6-5 所 示 的 AutoHotKey 脚 本 。 该 脚本 的 作 
用 是 ， 当 测试 人 员 按 下 Ctrl+F12，AutoHotKey 就 会 发 送 键盘 消息 ， 驱 动 PowerPoint 弹 出 “另存 为 ” 
对 话 框 , 并 将 保存 路 径 设 为 指定 值 。 之 后 , 测试 人 员 只 要 输入 文件 名 , 就 可 以 完成 图 片 导出 操作 。 


演示 文稿 1 - PowerPoint 


导出 


[站 ”创建 PDF/XPS 文 档 


a 
(的 将 演示 文稿 打包 成 CD 


ey 创建 讲义 


7 - 口 x 
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Ñ PowerPoint 97-20k (*.ppt) 
使 用 PowerPoint 97-2003 演示 文稿 格式 


a OpenDocument 演示 义 稿 (*.odp) 

= 使 用 OpenDocument 演示 文稿 格式 
T 

> 模板 (*.potx) a 

”新 演示 文稿 的 起 点 


M 
PowerPoint sso oy 
自动 以 幻灯 片 放 映 形式 打开 


prel 


后 本 | PowerPoint RHETT (*.pptx) 


EE 每 张 幻灯 片 均 为 图 片 的 演示 文稿 
图 片 文件 类 型 

Ue | PNG meenam ike ong) 
”每 张 幻灯 片 的 打印 质量 图 像 文件 


=") JPEG 文件 交换 格式 M, 
” 每 张 幻 灯 片 的 Web 质量 图 像 文件 


其 他 文件 类 型 四 
V 
已 另存 为 其 他 文件 类 型 
ri 


g 


图 6-7 PowerPoint 的 导出 功能 


代码 清单 6-5 ”执行 导出 图 片 操作 的 AutoHotKey 脚 本 


^F12:: ; 快捷 键 是 Ctrl+F12 
Send !F j 发 送 "Alt+F" 以 选择 "File" 
Send E ; 选择 "Export" 
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Send C ; 选择 "Change File Type" 

Send F 3 选择 "PNG Portable Network Graphics (*.png)" 

Send A ; 选择 "Save As" 

WinWait, Save As ; FA "Save As" 对 话 框 出 现 

Send C:\temp\ ; 发送 目标 路 径 

Send {Enter} ; 发 送 " 回 车 "， 令 对 话 框 的 当前 路 径 转 移 到 目标 路 径 (C:\temp) 
return ; 结束 


对 于 了 解 AutoHotKey 的 测试 人 员 ， 编 写 代码 清单 6-5 只 要 花费 几 分 钟 的 时 间 ， 其 成 果 是 用 快 
捷 键 取代 了 一 组 键盘 操作 ,这 看 似 是 微不足道 的 进步 ,但 这 有 利于 测试 人 员 摆 脱 枯燥 的 重复 动作 ， 
将 精力 集中 在 高 智力 挑战 的 任务 上 。 实际 上 , 测试 过 程 蕴 含 许多 通过 自动 化 来 提高 操作 效率 的 情 
景 。 如 果 测 试 人 员 积 极地 识别 自动 化 机 会 , 并 合理 利用 , 他 可 以 积累 一 系列 小 的 自动 化 成 果 来 显 
著 提 高 测试 效率 。 

AutoHotKey 并 不 是 完成 此 类 任务 的 唯一 工具 ”"， 测试 人 员 需 要 根据 产品 类 型 和 当前 任务 选择 
合适 的 工具 。 例 如 ，Jonathan Kohl] 对 于 Web 应 用 选择 了 Watri 和 Watij 来 控制 浏览 器 和 页 面 。 使 用 恰 
当 的 工具 , 测试 人 员 只 需 编写 很 短小 的 代码 就 可 以 达成 目标 。 使 用 不 恰当 的 工具 , 测试 人 员 会 耗 
费 大 量 时 间 于 测试 代码 的 编写 和 调试 ， 以 至 于 压缩 了 测试 产品 的 时 间 。 


案例 2: 用 DOS 脚 本 自动 化 测试 环境 配置 


案例 1 是 一 个 用 计算 机 加 速 测试 执行 的 例子 ， 本 案例 是 利用 脚本 来 进行 测试 准备 。 我 经 常 创 
建 虚拟 机 来 执行 测试 。 在 获得 一 个 新 的 虚拟 机 之 后 ， 我 会 用 管理 员 权 限 运 行 代 码 清单 6-6 所 示 的 
DOS 脚 本 ”。 
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代码 清单 6-6 ”配置 测试 环境 的 DOS 脚 本 


REM 1) setup variables ---------------------------------------------- 
set src=\\myserver\setup 

set tgt=c: 

set tools=%tgt%\tools 


REM 2) setup debuggers ---------------------------------------------- 
xcopy %src%\debuggers %tgt%\debuggers\ /Y /E /H 


md c:\symbols 
%tgt%\debuggers\windbg.exe -IS 


REM 3) setup kernel debugging --------------------------------------- 
bcdedit /debug on 
bcdedit /dbgsettings serial debugport:1 baudrate:115200 


REM 4) copy tools --------------------------------------------------- 
xcopy %src%\tools %tools%\ /Y /E /H 


REM 5) config machine ----------------------------------------------- 
reg.exe import %tools%\reg\powershell_config.reg 


Q 对 于 PowerPoint 而 言 ， 实 现 快速 图 片 导出 的 另 一 种 方法 是 执行 VBA 语 句 : 
Application.Presentations.Item(1).SaveAs "c:\temp\test", ppSaveAsPNG, msoFalse 


Q 代码 清单 6-6 是 一 个 简化 的 脚本 ， 真 实 的 脚本 要 更 复杂 一 些 。 
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各 步 


reg.exe import %tools%\reg\windbg config.reg 
reg.exe import %tools%\reg\console_config.reg 


setx PATH "%PATH%; %tgt%\debuggers ; %tools%" 


REM 6) map network driver ------------------------------------------- 
net use z: \\myserver\share 


REM 7) setup fiddler2 ----------------------------------------------- 
start %tools%\install\Fiddler4BetaSetup.exe 


代码 清单 6-6 将 一 批 工具 从 服务 器 复制 到 当前 计算 机 ， 安 装 软件 ， 并 修改 操作 系统 的 设置 。 
又 的 概要 解释 如 下 。 


(1) 建立 变量 ， 设 定 文件 要 从 何 处 获取 、 要 复制 到 本 机 的 哪个 目录 。 

(2) 复制 Windbg 到 本 机 ， 并 将 它 设 定 为 事后 调试 器 。 

(3) 开启 本 机 的 内 核 调试 。 

(4) 复制 一 组 文件 和 工具 到 本 机 。 

(5) 导入 注册 表 文 件 来 修改 计算 机 配置 。 将 Windbg 的 目录 和 工具 目录 加 入 到 环境 变量 PATH。 
(6) 将 共享 的 网 络 路 径 映 射 为 本 机 的 Z 盘 。 

(7) 安装 HTTP 调 试 代理 Fiddler2 。 


案例 2 说 明 利用 操作 系统 的 Shell 和 内 建 命令 , 测试 人 员 可 以 快速 地 配置 操作 系统 和 软件 工具 ， 


获得 准备 就 绪 的 测试 环境 。 在 许多 情景 中 , 测试 人 员 执 行 的 任务 与 系统 管理 员 很 类 似 , 都 需要 配 


置 软 硬 件 参数 、 安 装 软件 和 维护 环境 。 学 习 一 些 系统 管理 员 使 用 的 脚本 和 工具 ,能 够 帮助 测试 人 
员 更 高 效 地 完成 测试 准备 。 


需要 
这 些 


案例 3: 用 PowerShell 和 Excel 分 析 产 品 性 能 


测试 过 程 会 产生 许多 信息 ， 有 些 信息 需要 在 测试 执行 之 后 做 进一步 的 分 析 。 例如, 测试 人 员 
分 析 3 个 重要 操作 ( FetchData、ExtractData、ComputeData ) 的 性 能 。 于 是 ， 他 用 测试 代码 将 
操作 的 用 时 写 人 测试 日 志 ， 上 有 具体 实现 请 参考 代码 清单 6-7。 


代码 清单 6-7 将 操作 的 用 时 写 入 日 志文 件 
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// 测试 辅助 类 : 利用 C# 的 Dispose 记 录 操 作 的 开始 、 结 束 和 用 时 
public class TimeLogger : IDisposable 


DateTime statTime; 
string action; 


public TimeLogger(string action) 
// 记录 操作 开始 
TestLog.Log("BeginAction\t{0}", actionMessage) ; 


this.statTime = System.DateTime.Now; 
this.actionMessage = action; 
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public void Dispose() 


// 记录 操作 结束 
// 记录 格式 : "EndAction<Tab>[ 操 作 名 ]<Tab>[ 用 时 ] seconds" 
TestLog.Log("EndAction\t{0}\t{1} seconds", 

this.action, 

(System.DateTime.Now - this.statTime).TotalSeconds); 


// 记录 操作 FetchData 的 用 时 
using (var logger = new TimeLogger("FetchData")) 


// FetchData 的 具体 操作 
} 


// 记录 操作 ExtractData 的 用 时 
using (var logger = new TimeLogger("ExtractData")) 


// ExtractData 的 具体 操作 
} 


// 记录 操作 ComputeData 的 用 时 
using (var logger = new TimeLogger("ComputeData")) 


// ComputeData 的 具体 操作 


在 测试 执行 之 后 ,测试 人 员 使 用 代码 清单 6-8 的 PowerShell 脚 本 来 搜索 日 志 目 录 下 的 日 志文 
件 , 然后 用 正则 表达 式 “EndActiont(.?)\t(.?)\sseconds” 来 匹配 记录 操作 用 时 的 文本 行 。 如 果 匹 配 
成 功 ， 脚 本 提取 操作 名 和 用 时 ， 将 它们 输出 到 perf.txt。 图 6-8 展 示 了 该 脚本 的 输出 结果 。 


®© ”perftxt-Notepad2 - P 
File Edit View Settings ? 
Deaealaa @|x'| | 
FetchData —>2.4678642 a 
FetchData —>0.1249552 
ExtractData>7&.8472253 
FetchData —>0.0468591 
ExtractData>24.8664255 
FetchData —>1.999296 
ExtractData>41.6576578 
ExtractData>22.0865087 
ComputeData>55.4031231 
ComputeData>3.139579 
ComputeData>4.4672342 

12 ComputeData>2.1400374 v 
< > 
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图 6-8 ”分 析 测试 日 志 所 获得 的 操作 和 用 时 
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代码 清单 6-8 用 正则 表达 式 分 析 测 试 日 志 ， 获 得 操作 的 用 时 


Get-ChildItem -Filter *.log -Recurse | 
Select-String "EndAction\t(.*?)\t(.*?)\sseconds" | 
Select -ExpandProperty Matches | 
foreach { '{0} t{1}' -f $ .Groups[1].Value, $ .Groups[2].Value } > perf.txt 


然后 ， 测 试 人 员 用 Excel 导 和 人 perftxt， 获 得 如 图 6-9 所 示 的 数据 表 。 基 于 该 数据 表 ， 测 试 人 员 
生成 如 图 6-10 所 示 的 透视 图 ， 以 分 析 各 个 操作 的 平均 用 时 。 通 过 该 图 , 测试 人 员 可 以 直观 地 了 解 
到 FetchData 的 速度 最 快 (平均 用 时 为 0.45 秒 )、ExtractData 的 速度 最 慢 (平均 用 时 20.45 秒 )、 
ComputerData 的 速度 接近 ExtractData (平均 用 时 为 16.15 秒 )。 


FetchData 2.4678642 
FetchData 0.1249552 
ExtractData 78.8472253 
FetchData 0.0468591 
ExtractData 24.8664255 
FetchData 1.999296 

ExtractData 41.6576578 
ExtractData 22.0865087 
ComputeData 55.4031231 
ComputeData 3.139579 

ComputeData 4.4672342 
ComputeData 2.1400374 


图 6-9 ”包含 操作 和 用 时 的 Excel 数 据 表 ( 局 部 ) 


Average of Time 
25.00 


20.45 
20.00 


16.15 
15.00 


10.00 


5.00 


0.45 


0.00 Re 
ComputeData ExtractData FetchData 


Operation + 
图 6-10 反映 操作 平均 用 时 的 透视 图 


为 了 进一步 了 解 情 况 , 他 又 在 透视 图 中 加 入 各 个 操作 的 最 长 用 时 , 获得 如 图 6-11 所 示 的 结果 。 
这 时 ， 他 惊讶 地 发 现 ExtractData 的 最 长 用 时 达到 432.32 秒 ， 是 平均 用 时 的 20 多 倍 。 于 是 ， 他 生成 
ExtractData 各 次 用 时 的 散 点 图 ( 如 图 6-12 所 示 )。 由 该 图 可 知 , 测试 过 程 执行 ExtractData 达 4000 多 
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次 ， 该 操作 的 用 时 大 多 小 于 50 秒 ， 只 有 一 次 超 乎 寻常 地 达到 432.32 秒 。 该 图 不 但 很 好 地 反映 了 
ExtractData 的 用 时 情况 ， 还 建议 测试 人 员 应 该 调查 那 次 超 长 的 用 时 ， 发 掘 它 背 后 隐藏 的 问题 


Average of Time Max of Time 
500.00 

432.32 
400.00 


300.00 


200.00 


119.20 
100.00 


16.15 20.45 E380 


0.00 baai — 0.45 
ComputeData ExtractData FetchData 


Operation + 


图 6-11 ”操作 的 平均 用 时 和 最 长 用 时 


图 6-12 ”ExtractData 用 时 的 散 点 
回顾 以 上 测试 开发 与 分 析 过 程 ， 不 难 获得 以 下 经 验 。 


口 试 代码 用 清晰 的 格式 记录 测试 执行 的 信息 ， 测 试 日 志 将 为 成 为 后 续 分 析 的 重要 数 

口 利用 动态 语言 和 正则 表达 式 ， 可 以 编写 短小 的 脚本 来 提取 值得 分 析 的 数据 。 

口 电子 表格 软件 是 方便 的 数据 可 视 化 工具 。 利 用 它 ， 测 试 人 员 无 需 编写 代码 ， 就 可 以 生成 
多 种 类 型 的 图 表 。 

O 电子 表格 软件 也 是 探索 数据 、 挖 掘 知识 的 工具 。 测 试 人 员 根 据 已 有 的 图 表 来 提出 疑问 ， 
然后 设计 出 新 的 图 表 来 提供 答案 。 这 让 测试 人 员 从 多 个 角度 考察 数据 ， 从 而 建立 对 产品 
特性 的 完整 理解 。 
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口 测试 开发 可 以 借助 多 个 工具 ， 通 过 组 合 它们 的 长 处 来 快速 完成 测试 任务 。 

4: 用 IronPython 分 析 系统 负载 

我 曾经 测试 过 一 个 作业 处 理 系 统 , 它 的 任务 是 计算 用 户 每 天 提交 的 作业 。 为 了 避免 当天 的 作 
业 积 压 到 第 二 天 , 项 目 团队 利用 计算 机 集群 搭建 了 6 条 作业 流水 线 , 使 该 系统 能 够 同时 处 理 6 个 作 
业 。 为 了 分 析 产 品 环境 和 测试 环境 中 系统 的 性 能 ,我 用 IonPython "编写 了 一 个 脚本 perf py 来 绘制 
系统 对 流水 线 的 利用 率 。 该 脚本 的 运行 步骤 与 案例 3 的 数据 处 理 流程 很 相似 。 

(1) 提取 数据 : perfpy 从 系统 日 志 中 分 析出 每 个 作业 的 类 型 、 开 始 时 间 和 结束 时 间 。 该 日 志 
可 能 来 自 产品 环境 ， 也 可 能 来 自 性 能 测试 环境 。 

(2) 处 理 数 据 : perfpy 的 目标 是 在 一 个 窗口 中 绘制 出 作业 的 运行 情况 。 为 此 ， 它 将 窗口 视 为 
一 个 画布 , 将 6 条 流水 线 视 为 画布 上 等 高 的 6 行 , 将 一 个 作业 视 为 某 行 中 的 一 个 矩形 。 它 根据 作业 
开始 时 间 和 结束 时 间 ， 计 算出 对 应 矩形 的 长 度 、 宽 度 和 左上 角 的 坐标 。 

(3) 可 视 化 数据 : perf.py 根 据 和 矩形 的 长 度 、 宽 度 和 左上 角 的 左边 , 在 窗口 中 绘制 出 所 有 和 矩形 ”。 
图 6-13 展 示 了 最 终 的 绘制 结果 。 图 的 横 轴 对 应 着 时 间 ， 纵 轴 对 应 着 流水 线 ， 每 一 个 矩形 对 应 一 个 
作业 ， 和 氟 形 越 宽 说 明 作业 处 理 时 间 越 长 ， 相 同 颜色 的 作业 属于 同一 种 作业 类 型 。 


oa E 
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0 |= 


图 6-13 ”用 图 形 来 展示 系统 的 负载 


根据 图 6-13， 我 可 以 直观 地 分 析 数 据 ， 了 解 在 所 分 析 的 时 段 内 ， 系 统 完成 了 哪些 作业 ， 何 种 
作业 用 时 最 长 ， 何 种 作业 目 数 目 最 多 ,哪些 作业 在 并 发 执行 ,哪些 作业 在 串 行 执行 ,哪些 时 段 系 
统 繁忙 ， 哪 些 时 段 系 统 空间 。 基 于 这 些 信 息 ,， 我 可 以 理解 产品 环境 的 作业 运行 特点 , 设计 更 真实 
的 性 能 测试 方案 ， 还 可 以 分 析出 系统 的 性 能 瓶 陆 ， 发 现 值得 性 能 优化 的 作业 类 型 。 此 外 ，perf py 


O IonPython 是 Python 语言 在 NET 平 台 上 的 实现 ， 主 页 : http://ironpython.codeplex.com. 
© 该 脚本 调用 的 绘图 API 是 WPF (Windows Presentation Foundation), W: http://msdn.microsoft.com/en-us/library/ 
ms754130.aspx. 
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还 可 以 分 析 性 能 测试 环境 ， 帮 助 我 发 现 性 能 测试 的 不 足 ， 进而 改进 测试 方案 ， 以 提供 更 接近 产品 
环境 的 工作 负载 。 


在 .NET 程 序 库 和 我 日 常 积累 的 程序 库 帮 助 下 ，perfpy 仅 用 300 余 行 就 完成 了 提取 数据 、 处 理 
数据 、 可 视 化 数据 的 任务 。 代码 清 单 6-9 摘 录 了 脚本 的 核心 逻辑 。 由 这 段 代 码 , 不 难看 出 IronPython 
的 一 些 优点 。 


O Python 语言 简洁 清晰 ， 表 达 力 强 ， 能 用 比 主流 静态 语言 ( 如 Java 、C# 等 ) 更 短 的 程序 完成 
计算 任务 。 

口 IonPython 可 以 直接 调用 包括 WPF 在 内 的 .NET 程 序 库 , 这 降低 了 数据 可 视 化 的 工作 量 。 此 
外 , IronPython 还 可 以 调用 CPython 程 序 库 , 并 通过 .NET 互 操作 技术 调用 COM 对 象 和 Win32 
API。 这 些 都 显著 提高 了 开发 效率 。 


代码 清单 6-9 ”计算 和 手 形 位 置 和 绘制 矩形 的 核心 代码 


# 计算 矩形 位 置 的 类 
class ArrangeRectangle: 
# ... 


E 将 矩形 (作业 ) 放 入 恰当 的 行 (流水线 ) 
def compute position(self): 
rows = [[] for i in range(pipeline count)] 
for r in self.rectangles: 
index = self.get row index(rows, r) 
rows[index] .append(r) 
r.top = index * (self.row heigth + row gap) 


E 寻找 可 以 容纳 矩形 的 行 
def get row index(self, rows, rectangle): 
for index, row in enumerate(rows): 
if self.has_space(row, rectangle): 
return index 
rows.append([]) 
return len(rows) - 1 


# #| br fTrowht GS & 444274 rectangle 
def has_space(self, row, rectangle): 
for T in row: 
if (self.is_conflict(r, rectangle) 
or self.is_conflict(rectangle, r)): 
return False 
return True 


# 判断 两 个 矩形 (TX 和 TYy) 的 位 置 是 否 冲突 
def is conflict(self, rx, ry): 
if ry.start <= rx.start < ry.end: 
return True 
elif ry.start <= rx.start and rx.end <= ry.end: 
return True 
else: 
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return False 


# 绘制 矩形 的 类 
class DrawRectangle: 
# ... 


# 绘制 所 有 的 矩形 ， 并 将 它们 加 入 画布 
def add_rectangleangles(self, rectangles): 
c = self.canvas 
for r in rectangles: 
wr = self.build_wpf_rectangle(r) 
self.add(wr, r.left, r.top) 


# 绘制 一 个 矩形 
def build_wpf_rectangle(self, rectangle): 
wr = wpf.Rectangle() 
wr.Width = rectangle.width 
wr.Height = rectangle. height 
wr.Fill = self.get_color(rectangle.type) 


tt = wpf.ToolTip() 
tt.Content = rectangle.text 
wr.ToolTip = tt 

return wr 


动态 语言 的 另 一 个 优势 是 部 署 和 修改 方便 。 因 为 我 所 使 用 的 测试 计算 机 都 安装 了 .NET 
Framework, 所 以 我 只 需要 复制 IonPython 解 释 句 (大约 4MB ) 和 几 个 脚本 文件 就 完成 了 应 用 部 署 。 
这 方便 我 在 不 同 的 环境 ( 预 发 布 环境 、 集 成 测试 环境 、 性 能 测试 环境 、 功 能 测试 环境 等 ) 下 运行 
脚本 , 获得 系统 的 性 能 信息 。 在 数据 分 析 过 程 中 , 我 可 能 会 产生 一 些 新 的 数据 可 视 化 想法 。 这 时 ， 
我 可 以 用 文本 编辑 器 修改 脚本 , 然后 运行 脚本 来 获得 直观 的 反馈 ,从 而 激发 出 更 多 的 数据 分 析 思 
路 。 因 为 许多 测试 环境 不 包含 大 型 的 开发 工具 ， 所 以 它们 不 支持 主流 静态 语言 的 快速 开发 。 动 态 
语言 无 需 编译 、 立 即 可 用 的 特点 让 我 可 以 灵活 快速 地 修改 脚本 ， 以 满足 随时 浮现 的 测试 需求 。 


由 本 节 的 讨论 可 知 , 测试 任务 中 存在 许多 运用 程序 来 提高 工作 效率 的 机 会 。 测 试 人 员 需 要 抓 
住 这 些 机 会 ， 综 合 运 用 多 种 开发 技术 来 构建 不 同类 型 的 测试 工具 。 


6.4 大 规模 自动 化 测试 

大 规模 自动 化 测试 (high volume automated testing，HiVAT ) 是 一 种 测试 策略 ， 通 过 自动 地 
执行 海量 的 测试 用 例 , 来 强力 检测 产品 缺陷 [区 aner13]。 随 着 硬件 性 能 的 提高 和 集群 计算 技术 的 发 
展 ，HiVAT 已 成 为 一 种 威力 巨大 的 自动 化 测试 策略 。 本 节 讨 论 它 的 基本 概念 和 设计 因素 。 
6.4.1 基本 概念 
许多 常见 测试 技术 的 出 发 点 是 获得 数量 较 少 有 代表 性 的 测试 用 例 , 通过 少量 的 典型 采样 来 
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评估 整个 测试 空间 。 例 如 等 价 类 划分 将 测试 输入 划分 为 若干 个 等 价 类 ， 从 中 选择 测试 用 例 。 又 例 
如 组 合 测试 根据 测试 模型 ， 生 成 符合 组 合 覆 盖 标 准 的 最 小 测试 用 例 集 。 


HiVAT 的 战术 恰恰 与 这 些 技术 相反 。 它 所 运行 的 每 一 个 测试 都 是 平凡 的 ,但 是 海量 的 测试 用 
例 密 集 地 覆盖 了 测试 空间 ,能够 发 现 精 心 构造 的 小 规模 测试 用 例 集 所 错过 的 缺陷 。 图 6-14 对 比 了 
这 两 种 测试 策略 ,其 中 每 一 个 点 都 是 一 个 测试 用 例 , 包含 点 的 方形 区 域 是 测试 空间 。 左 侧 的 测试 
技术 生成 少数 的 测试 用 例 ， 对 测试 空间 的 采样 较 稀 琉 ; 右 侧 的 测试 技术 则 产生 大 量 的 测试 用 例 ， 
对 测试 空间 的 采样 较 密 集 。 


基于 最 佳 采样 的 测试 技术 (组 合 测试 等 ) 基于 大 规模 采样 的 测试 技术 (HiVAT) 
图 6-14 ”基于 不 同 采样 策略 的 测试 技术 


HiVAT 常 用 于 测试 复杂 的 功能 、 流 程 或 产品 。 此 时 ， 小 规模 的 测试 用 例 集 不 能 提供 足够 的 测 
试 信心 。 测 试 人 员 需 要 借助 计算 机 的 能 力 来 运行 大 规模 的 测试 ， 以 发 现 隐 蔽 的 错误 。 以 下 是 一 些 
HiVAT 的 典型 案例 。 


口 5.3.3 节 介绍 了 Harry Robinson 测 试 地 图 导航 的 方法 。 测 试 程序 利用 美国 所 有 邮政 编码 的 
两 两 组 合作 为 测试 输入 (大约 十 亿 条 测试 用 例 )， 用 一 组 约束 规则 来 检查 所 获得 的 导航 路 
线 集 。 如 果 规 则 检查 发 现 了 失败 的 案例 ， 测 试 程序 会 将 该 案例 报告 给 Harry， 请 他 做 进 一 
步 的 分 析 。 

O Mozilla 项 目 小 组 需要 检查 Firefox 在 加 载 页 面 时 是 否 出 现 内 存 泄 漏 、 断 言 触发 和 程序 崩溃 
等 问题 。 他 们 的 测试 策略 是 从 alexa.com 获 得 最 流行 的 一 百 万 个 URL , 用 它们 来 检测 Firefox 
的 健壮 性 [Johnson10]。 在 测试 环境 中 ,测试 程序 启动 指定 版 本 的 Firefox， 令 它 打开 一 个 
URL， 然 后 加 载 Firefox 的 一 个 测试 插件 ， 该 插件 会 遍历 页 面 上 的 链接 ， 并 执行 一 组 检查 。 
在 打开 URL、 遍 历 链 接 和 执行 检查 的 过 程 中 ， 测 试 程序 会 详细 记录 所 发 现 的 问题 ， 并 保 
存 导致 问题 的 页 面 。 测试 一 百 万 个 URL 需 要 一 个 月 左右 的 时 间 。 为 了 加 快 测试 反馈 的 速 
度 ，Mozilla 小 组 还 构建 了 一 个 包含 一 干 条 URL 的 测试 集合 ， 用 于 每 日 测试 。 

口 模糊 测试 是 一 种 修改 输入 数据 来 暴露 软件 缺陷 的 方法 。 如 果 某 款 产 品 需 要 读 取 复 杂 的 文 
档 ， 测 试 小 组 可 以 使 用 文件 模糊 器 ， 对 原始 文档 进行 随机 修改 ， 生 成 大 量 的 模糊 文档 。 
然后 ， 模 糊 测试 框架 启动 产品 ， 令 它 读 取 这 批 被 算 改 的 文档 ， 并 严密 监控 可 能 的 异常 情 
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况 。 在 测试 结束 后 ， 测 试 人 员 分 析 测 试 日 志 中 记录 的 错误 ， 以 识别 安全 缺陷 。 模 糊 测试 
是 一 种 暴力 测试 方法 ， 一 轮 模糊 测试 会 使 用 数 万 个 甚至 更 多 的 模糊 文件 。 如 果 运 用 得 当 ， 
模糊 测试 可 以 发 现 许多 手工 测试 或 简单 的 自动 化 测试 无 法 发 现 的 问题 ， 这 对 于 提高 软件 
的 安全 性 极 具 价值 。 例 如 Microsoft Office 团 队 在 开发 Office 2013 时 ， 通 过 模糊 测试 发 现 并 
修改 了 2100 多 个 缺陷 [Gallagher12]。 

口 猴子 测试 是 利用 猴子 程序 来 随机 地 测试 产品 。 猴 子 程序 是 一 个 不 知 疲倦 的 测试 程序 ， 它 
随机 地 从 动作 列表 中 选择 一 个 动作 来 操作 产品 ， 并 监视 产品 的 状态 和 行为 ， 记 录 所 发 现 
的 问题 。 猴 子 程序 会 连续 运行 整 晚 或 几 天 ， 如 果 产 品 盘 溃 或 停滞 ， 它 会 重启 产品 以 继续 
测试 。 对 于 简单 的 猴子 程序 ， 动 作 列 表 是 一 组 键盘 、 鼠 标 、 触 控 命令 ， 它 会 纯粹 地 随机 
选择 命令 ， 而 不 考虑 产品 当前 的 状态 。 这 类 猴子 实现 简单 ， 可 以 快速 投入 测试 , 但 是 只 
能 发 现 程 序 骨 溃 、 程 序 停 淖 、 资 源 泄漏 等 常见 错误 。 对 于 智能 的 猴子 程序 ， 其 动作 列表 
是 一 组 业务 操作 (有 时 是 简单 的 功能 测试 )， 它 会 根据 产品 的 状态 来 选择 业务 操作 ， 并 检 
查 操 作 结束 后 软件 的 状态 是 否 正确 。 智 能 的 猴子 拥有 一 些 产 品 的 知识 ， 所 以 它 的 命令 和 
检查 更 有 针对 性 ， 不 但 能 够 发 现 常 见 错误 ， 还 可 以 挖掘 出 产品 特有 的 缺陷 。 


HiVAT 拥 有 悠久 的 历史 ，Cem Kaner 在 1980 年 就 发 现 了 一 些 测试 团队 运行 大 量 测试 用 例 来 探 
测 复杂 软件 的 深层 次 缺陷 。 近 年 来 , 随 着 软 人 硬件 技术 的 发 展 , HiVAT 的 有 效 性 和 重要 性 与 日 俱 增 。 
第 一 ,软件 产品 越 来 越 复 杂 , 少量 的 测试 用 例 不 能 提供 足够 的 测试 覆盖 , 测试 人 员 需 要 更 好 的 办 
法 来 覆盖 产品 的 代码 和 状态 。 第 二 ,计算 机 硬件 的 价格 在 持续 下 降 , 性 能 在 稳步 提升 ， 这 为 运行 
大 批量 的 测试 用 例 提 供 了 硬件 基础 。 第 三 ， 虚 拟 化 技术 让 一 台 物 理 计算 机 运行 多 台 虚 拟 计算 机 ， 
这 使 得 项 目 团队 能 够 更 充分 地 利用 空闲 计算 资源 。 第 四 ,， 云 计算 技术 让 测试 人 员 可 以 用 多 台 E 
拟 ) 计算 机 同时 运行 海量 的 测试 用 例 , 并 汇总 测试 结果 , 这 极 大 地 提高 了 测试 运行 的 速度 。 例 如 ， 
Harry Robinson 在 测试 地 图 导航 时 运行 了 上 亿 条 测试 ， 这 在 以 往 的 测试 环境 中 是 不 可 想象 的 。 但 
是 , 利用 云 计算 技术 , 他 可 以 使 用 上 千 台 计算 机 同时 执行 测试 ,能 够 在 几 天 内 完成 数量 如 此 庞大 
的 测试 。 


可 见 , 新 的 测试 挑战 和 测试 平台 要 求 测试 人 员 重 新 思考 自动 化 测试 的 使 命 , 用 创新 思维 去 充 
分 利用 计算 资源 ， 以 提出 更 具 威 力 的 测试 策略 。 测 试 人 员 需 要 思考 : 如 果 我 拥有 10 台 计算 机 来 运 
行 测试 用 例 ， 我 应 该 设计 何 种 自动 化 测试 ?如果 有 100 台 计算 机 ， 又 怎么 设计 ?如 果 有 1000 台 计 
算 机 ， 又 如 何 设计 ? 这 些 问 题 看 似 有 些 遥 远 ， 其 实 是 很 多 测试 人 员 需 要 考虑 的 真实 情况 。 目 前 ， 
许多 测试 小 组 拥有 测试 实验 室 , 一 般配 有 几 十 台 计 算 机 , 某 些 项 目的 测试 环境 甚至 拥有 上 千 台 计 
算 机 。 在 很 多 时 候 , 这 些 计算 机 并 没有 满 负荷 运转 , 许多 计算 资源 都 被 闲置 。 测试 人 员 应 该 考虑 
如 何 充 分 利用 这 些 空 闪 资源， 从 而 大 幅度 提高 测试 的 广度 和 深度 。 


6.4.2 测试 设计 
HiVAT 有 多 种 实施 方式 ， 也 存在 大 量 创 新 空间 ， 然 而 其 基本 流程 具备 一 定 的 模式 。 图 6-15 是 
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利用 多 台 计 算 机 进行 HiVAT 的 典型 工作 方式 ， 其 流程 是 将 测试 任务 分 发 给 多 台 计 算 机 ， 然 后 汇总 
来 自 所 有 计算 机 的 测试 结果 。 以 下 是 基本 步骤 的 描述 ”。 


(1) 测试 人 员 使 用 工具 生成 大 量 的 测试 用 例 。 

(2) 根据 可 用 计算 机 的 数量 ， 测 试 控制 服务 器 把 测试 用 例 划 分 为 若干 组 ， 将 它们 分 配给 测试 
执行 计算 机 。 

(3) 在 测试 执行 计算 机 上 ， 测 试 程序 运行 测试 用 例 ， 并 记录 测试 日 志 。 

(4) 测试 控制 服务 器 汇总 来 自 各 台 计 算 机 的 测试 结果 ， 将 它们 保存 到 测试 结果 仓库 中 。 

(5) 测试 人 员 调 查 测 试 所 发 现 的 问题 ， 并 提交 缺陷 报告 。 


测试 控制 


sa ie 测试 结果 

测试 用 例 2 T 仓库 
== — 测试 结 果 3 | 

测试 用 例 n 


fond 测试 结果 产 


测试 人 员 
图 6-1$ ”用 多 台 计 算 机 执行 HiVAT 的 一 种 架构 
因为 HiVAT 会 运行 海量 的 测试 用 例 , 测试 过 程 会 面临 一 些 特殊 的 挑战 ， 测 试 人 员 需 要 根据 产 
品 的 特征 和 所 依赖 的 自动 化 技术 做 出 恰当 的 设计 。 本 节 针 对 HiVAT 的 特点 ， 讨 论 其 设计 与 实现 过 
程 中 需要 重点 考虑 的 问题 。 
问题 1， 如 何 生成 大 量 的 测试 输入 数据 
HiVAT 的 威力 来 自 于 执行 海量 的 测试 用 例 , 测试 输入 数据 的 差异 性 和 代表 性 将 极 大 地 影响 测 


D 对 于 在 一 台 计 算 机 上 进行 的 HiVAT， 步 又 (2) 和 步 又 (4) 可 以 省 略 。 
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试 效果 。 优质 的 测试 输入 使 投入 的 计算 资源 获得 充分 的 回报 , 不 良 的 测试 输入 则 浪费 了 庞大 的 计 


算 资 源 和 漫长 的 测试 时 间 。 以 下 是 一 些 构建 测试 输入 数据 的 常见 方法 。 
口 穷 举 输入 域 的 所 有 取 值 。 例 如 ，Harry Robinson 穷 举 了 美国 邮政 编码 的 两 两 组 合 ， 获 得 地 


图 导航 的 测试 输入 数据 。 


又 例如 ， 测 试 人 员 在 测试 拥有 多 个 输入 变量 的 模块 时 ， 不 使 用 


两 因素 测试 用 例 集 ， 而 使 用 全 组 合 测试 用 例 集 。 


口 尽 可 能 多 地 收集 真实 的 业 


务 数据 。 例 如 ，Mozilla 项 目 小 组 从 alexa.com 获 得 了 最 流行 的 一 


百 万 个 URL， 用 来 测试 Firefox 的 页 面 加 载 。 如 果 测试 对 象 是 产品 的 文档 读 取 功 能 ， 测 试 


人 员 可 以 从 各 种 途径 收集 不 同 用 户 的 真实 文档 。 如 果 测 试 对 象 是 Web 应 用 , 测试 人 员 可 以 
分 析 产 品 日 志 ， 获 得 一 段 时 间 内 用 户 群 的 操作 和 输入 数据 ， 从 而 构建 出 测试 输入 集 。 


O 随机 地 产生 测试 数据 。 例 
测试 文件 。 因 为 对 文件 的 
可 以 使 产生 的 文件 较 均 匀 


如 ， 模 糊 测试 调用 文件 模糊 器 随机 地 修改 原始 文件 ， 生 成 一 批 
修改 方式 是 无 穷尽 的 ， 穷 举 法 在 此 处 不 适用 。 大 规模 随机 修改 
地 履 盖 输入 空间 ， 提 高 发 现 缺陷 的 概率 。 在 数学 上 ， 数 量 庞大 


的 随机 采样 有 助 于 均匀 地 探测 整个 测试 空间 ， 降 低 遗 漏 重要 输入 区 域 的 可 能 性 。 


口 用 启发 式 规则 指导 随机 采 


性 质 上 的 “公平 ”与 “ 均 人 


提高 测试 效率 ， 测 试 人 员 
件 模糊 噩 会 读 取 文档 格式 
文件 。 其 修改 过 程 依旧 具 
如 ,测试 人 员 根 据 业务 知 


样 。 纯 粹 的 随机 采样 不 考虑 产品 的 业务 知识 ， 虽 然 确保 了 数学 
义 ”， 但 是 没有 根据 产品 的 特点 在 重点 区 域 进行 密集 测试 。 为 了 


可 以 用 一 些 启发 式 规则 来 指导 测试 数据 生成 。 例 如 ， 高 级 的 文 
的 规格 说 明 ， 以 建议 文档 格式 的 模型 ， 然 后 根据 该 模型 来 修改 
备 很 强 的 随机 性 ， 但 是 可 以 生成 更 有 攻击 性 的 一 批文 件 。 又 例 
识 将 输入 域 划分 为 若干 个 区 域 ， 分 别 赋予 不 同 的 权重 。 测 试 数 


据 生 成 需 会 在 高 权重 的 区 域 多 采样 ， 在 低 权 重 的 区 域 少 采样 ， 以 便 重 点 测试 高 权重 的 


区 域 。 
口 为 每 一 条 测试 数据 生成 唯 
据 编号 和 对 应 的 测试 结果 


一 的 编号 。 在 测试 过 程 中 ， 测 试 程序 在 测试 日 志 中 记录 测试 数 
。 当 测试 人 员 分 析 测 试 日 志 时 ， 他 可 以 根据 编号 找 出 测试 数据 ， 


以 复 现 相应 的 测试 结果 。 这 对 于 测试 数据 和 测试 结果 的 追踪 管理 尤其 重要 。 


以 上 测试 数据 生成 方法 并 不 相互 排斥 。 当 测试 复杂 产品 时 , 测试 人 员 需 要 综合 运用 它们 ， 以 
发 挥 各 自 的 优点 。 例 如 ,测试 人 员 收 集 一 大 批 用 户 文档 来 测试 产品 的 文档 读 写 功能 ( 功能 性 测试 )。 


然后 ,他 用 文件 模糊 器 基 于 这 批 有 


日 户 文档 生成 一 组 模糊 文件 ， 以 检查 文档 读 写 功能 是 否 存在 安全 


缺陷 ( 安全 性 测试 )。 接 着 ,他 针对 文档 中 一 个 特别 重要 的 字段 ， 配 置 文件 模糊 絮 去 生成 一 批文 
档 ， 以 实现 对 该 字段 的 穷 举 测试 。 

HiVAT 往 往 会 生成 大 量 的 测试 输入 数据 ， 随 之 而 来 的 一 组 问题 是 : 已 生成 的 测试 数据 是 否 已 
经 足够 好 ?” 是 否 需要 生成 新 的 测试 数据 ?新 的 测试 数据 需要 具备 哪些 新 的 特征 ?对 于 非 穷 举 测 


试 ， 这 些 问题 没有 标准 答案 。 


通常 ,测试 人 员 可 以 从 两 个 角度 来 考察 测试 数据 集 的 质量 。 第 一 ,测试 数据 集 应 该 很 好 地 履 


盖 了 业务 领域 ,例如 ,地 图 导航 测试 应 该 覆盖 了 所 有 典型 的 出 发 地 和 目的 地 ， 页面 加 载 测试 应 该 
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履 盖 了 大 部 分 用 户 可 能 访问 的 页 面 类 型 ,模糊 测试 应 该 覆盖 了 文档 格式 的 所 有 字段 。 在 理想 情况 
下 ,测试 输入 应 该 具备 很 好 的 典型 性 和 差异 性 ， 既 能 覆盖 所 有 业务 数据 类 型 ， 又 能 提供 足够 多 样 
化 的 细节 。 第 二 , 测试 数据 集 应 该 很 好 地 和 覆盖 了 代码 实现 。 测试 人 员 可 以 用 代码 覆盖 率 、 状 态 获 
盖 率 等 方法 来 寻找 尚未 被 充分 测试 的 代码 ， 然 后 用 这 些 信息 来 指导 后 续 测 试 数据 的 生成 。 


问题 2: 如 何 构建 测试 先知 ， 以 自动 地 发 现 产 品 缺 陷 


HiVAT 会 执行 大 量 的 测试 , 手工 地 检查 所 有 的 测试 结果 是 不 现实 的 ， 因 此 需要 测试 先知 来 自 
动 地 识别 缺陷 或 记录 值得 调查 的 问题 。 与 5.3 节 介绍 的 测试 先知 技术 相似 ， 一 致 性 检查 和 规则 检 
查 是 自动 化 测试 先知 的 常见 构造 方法 。 以 下 是 一 些 常 见 策略 。 


口 检查 产品 和 参考 程序 的 一 致 性 。 例 如 ，Open Office Calc 是 一 款 电 子 表格 软件 "。 为 了 测试 
它 的 公式 计算 , 测试 程序 将 一 组 包含 公式 的 电子 表格 文档 作为 测试 输入 , 让 Calc 打 开 这 批 
文档 ， 并 获得 它 的 公式 计算 结果 。 然 后 ,测试 程序 将 这 些 结果 与 Microsoft Excel 的 计算 结 

果 进 行 比较 ， 识别 出 不 一 致 的 结果 值 。 将 Excel 作 为 参考 程序 简化 了 测试 开发 ， 让 测试 程 
序 可 以 立即 投入 应 用 。 虽 然 Excel 也 可 能 存在 缺陷 ， 但 是 从 头 实现 相同 质量 的 公式 计算 程 
序 可 能 是 测试 小 组 无 法 承担 的 任务 。 

口 检查 被 测 版 本 和 已 发 布 版 本 的 一 致 性 。 例 如 ， 某 绘图 软件 需要 支持 已 发 布 版 本 所 制作 的 
文档 。 为 此 ， 测 试 程序 将 一 组 真实 的 用 户 文档 作为 测试 输入 ， 让 被 测 版 本 打开 这 批文 档 ， 
并 通过 屏幕 截图 来 获取 它 所 绘制 出 的 图 形 。 然 后 ， 测 试 程序 将 被 测 版 本 的 截图 与 已 发 布 
版 本 的 截图 进行 比较 ， 识 别 出 不 一 致 的 绘制 结果 。 

口 检查 产品 自身 的 行为 是 否 一 致 。 例 如 ，Harry Robinson 用 一 组 规则 来 检查 谷歌 地 图 给 出 的 导 
航路 线 。 其 中 一 条 规则 是 “从 A 到 B 的 导航 路 线 的 长 度 与 从 B 到 A 的 导航 路 线 的 长 度 没 有 显 
著 差 别 ”。 该 规则 要 求 导航 计算 在 两 个 方向 上 保持 一 致 ， 即 检查 产品 的 逆反 运算 是 和 否 等 价 。 

口 用 一 组 约束 规则 来 检查 产品 的 结果 。 例 如 ，Mozilla 项 目 小 组 测试 Firefox 页 面 加载 时 ， 他 
们 实现 的 测试 程序 会 对 Firefox 做 一 系列 检查 ， 包 括 检 查 Firefox 是 否 泄 漏 了 内 存 ， 检 查 
Firefox 是 否 触 发 了 断言 , 检查 Firefox 在 加 载 URL 和 页 面 链接 时 是 否 崩 溃 等 。 这 些 检查 可 以 
视 为 一 组 规则 ， 虽 然 不 能 发 现 所 有 和 缺陷 ,但 是 对 于 特定 类 型 的 问题 有 很 强 的 检测 能 力 。 

口 基于 测试 模型 的 检查 。 有 些 测试 程序 建立 了 产品 的 状态 机 模型 ， 并 用 它 检查 产品 的 行为 。 
在 测试 时 ， 测 试 程序 获取 产品 的 当前 状态 ， 随 机 地 选择 一 条 命令 发 送 给 产品 ， 并 检查 它 
的 反应 。 如 果 命 令 可 以 触发 符合 状态 机 模型 的 变迁 ， 产 品 应 该 迁移 到 目标 状态 ， 并 执行 
相应 的 动作 。 如 果 命 令 不 能 触发 合法 的 变迁 ,产品 应 该 拒绝 执行 。 利 用 状态 机 模型 ， 测 
试 程序 可 以 用 漫长 的 命令 序列 来 检查 软件 的 行为 ， 并 发 现 一 些 长 期 执行 才 会 暴露 的 问题 。 


在 测试 实践 中 , 测试 程序 往往 会 实现 多 种 测试 先知 ， 从 不 同 的 角度 来 识别 缺陷 。 例 如 ,测试 
程序 可 以 用 状态 机 模型 来 驱动 产品 的 状态 变迁 , 并 记录 异常 的 变迁 。 与 此 同时 , 它 会 检查 产品 是 


O http://www.openoffice.org/product/calc.html, 
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MIERE, WT fh AC AERP SE, 并 用 参考 程序 来 检验 产品 的 计算 结果 。 只 要 计算 
资源 和 测试 时 间 允 许 ， 多 样 化 的 测试 先知 将 发 现 更 多 的 问题 ， 有 助 于 提高 HiVAT 的 产 出 。 


问题 3: 如 何 监 控 测试 执行 


因为 HiVAT 运 行 时 间 漫 长 , 会 触发 一 些 难 以 预料 的 产品 错误 ,测试 平台 需要 一 些 功 能 来 保证 
大 批量 的 测试 可 以 执行 完毕 。 以 下 是 一 些 常 见 的 测试 设计 。 


O 用 独立 的 监控 进程 监视 测试 程序 和 被 测 产品 。 在 测试 过 程 中 ， 测 试 程序 和 被 测 产品 都 可 
能 出 现 故障 ， 陷 入 停滞 状态 或 发 生 骨 泪 。 为 了 证 测试 可 以 持续 和 运转， 测试 人 员 可 以 实现 
一 个 简单 的 监控 进程 ， 用 它 观 察 测试 程序 和 产品 的 状态 。 如 果 发 现 某 个 进程 陷入 停滞， 
它 会 终止 该 进程 ， 再 重新 启动 它 。 如 果 发 现 某 个 进程 表 溃 ， 它 会 收集 相应 的 内 存 转 储 文 
件 ， 并 重启 该 进程 。 

O 测试 程序 记录 测试 进度 ， 以 便 重新 启动 后 继续 运行 尚未 执行 的 测 斌 用例。 例如， 测试 程 
序 获得 了 1000 条 测试 用 例 ， 每 条 测试 用 例 有 唯一 的 编号 。 它 先 用 测试 日 志 记录 所 有 的 测 
试用 例 ， 然 后 开始 测试 。 在 测试 过 程 中 ， 它 执行 完 一 条 测试 用 例 ， 就 记录 该 测试 用 例 的 

号 。 如 果 测 试 程序 在 执行 第 401 个 测试 用 例 时 发 生 故 障 , 被 监控 进程 终止 。 重新 启动 后 ， 

测试 程序 会 分 析 测 试 日 志 ， 然 后 从 第 402 个 测试 用 例 开始 执行 。 这 避免 了 重复 执行 测试 用 

例 的 开销 ， 也 保证 测试 程序 不 会 遗漏 测试 用 例 。 

测试 程序 主动 向 测试 控制 服务 器 申请 测试 用 例 ， 即 使 用 拉 模 式 来 分 配 测试 用 例 。 在 使 用 
台 计 算 机 执行 测试 时 ， 有 一 些 计算 机 的 性 能 比较 高 ， 能 够 更 快 地 完成 测试 用 例 。 拉 模 

式 允 许 这 些 计算 机 在 执行 完 一 批 测试 用 例 之 后 ， 可 以 立即 获得 新 的 一 批 测试 用 例 ， 而 不 

必 等 待 哪些 速度 较 慢 的 计算 机 。 这 有 助 于 提高 计算 机 集群 的 整体 性 能 。 

口 当 某 台 计 算 机 发 生 故 障 时 ， 测 试 控制 服务 器 应 该 记录 错误 ， 并 将 分 配给 它 的 测试 用 例 集 
转移 到 其 他 计算 机 。 因 为 软件 、 操 作 系统 、 硬 件 都 可 能 发 生 故 障 ， 所 以 测试 执行 计算 机 
停止 运转 是 需要 考虑 因素 。 分 配 测试 用 例 的 控制 服务 器 应 该 记录 哪些 计算 机 获得 了 哪些 
测试 用 例 ， 并 周期 性 地 联系 测试 执行 计算 机 ， 以 获取 测试 进度 。 当 某 台 计算 机 停止 响应 
时 ， 服 务 顺 应 该 将 它 尚未 执行 的 测试 用 例 放 回 总 测试 用 例 集 。 这 样 ， 当 其 他 计算 机 申请 
测试 用 例 时 ， 这 些 测试 用 例 可 以 被 再 次 分 配 。 

HiVAT 需 要 在 无 人 职守 的 情况 下 长 时 间 运 行 。 测 试 人 员 需 要 考虑 测试 平台 的 容错 性 和 健壮 

性 ， 并 做 出 一 些 相应 的 设计 。 紧 密 的 监控 和 恰当 的 故障 恢复 是 基本 的 考虑 点 。 

问题 4: 如 何 调查 大 量 的 测试 失败 

HiVAT 会 产生 大 量 的 测试 结果 。 单纯 的 手工 调查 费时 费力 , 让 测试 人 员 成 为 测试 流程 的 瓶颈 。 

而 且 调 查 所 用 的 时 间 越 长 ,测试 人 员 越 容易 感到 疲惫 , 越 可 能 漏 掉 一 些 产品 缺陷 。 为 了 帮助 测试 
员 高 效 地 评估 测试 结果 和 调查 失败 , 测试 平台 需要 提供 相应 的 自动 化 支持 。 以 下 是 一 些 常 见 的 

测试 设计 。 


St 


口 
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口 测试 程序 应 该 记录 它 执行 的 所 有 测试 用 例 或 命令 ， 以 便 测 试 人 员 重 现 缺 陷 。 在 猴子 测试 
等 长 时 间 运 行 的 随机 测试 中 ， 测 试 程序 应 该 用 固定 的 格式 记录 所 有 发 给 产品 的 命令 。 测 
试 人 员 可 以 根据 测试 日 志 ， 手 动 执 行 命令 序列 ， 也 可 以 用 工具 读 取 测 试 日 志 ， 来 重新 发 
送 命令 序列 。 这 对 于 重 现 由 随机 命令 序列 发 现 的 软件 缺陷 很 有 帮助 。 
口 一 旦 测试 程序 发 现 软件 错误 ， 它 应 该 尽 可 能 多 地 保存 产品 信息 和 环境 信息 。 例 如, 测试 
程序 可 以 保存 出演 软件 的 内 存 转 储 文件 , 并 在 测试 日 志 中 记录 该 转 储 文件 的 路 径 。 又 例 
如 ， 测 试 程 序 发 现 导航 路 线 有 误 时 ， 它 可 以 记录 起 点 和 终点 的 位 置信 息 〈 邮政 编码 )， 
并 保存 导航 路 线 的 网 页 截图 ， 帮 助 测试 人 员 立 即 了 解 失 败 情况 。 又 例如 ,测试 程序 发 现 
浏览 器 在 打开 某 个 URL 时 前 溃 , 它 除了 保存 内 存 转 储 文件 , 还 会 将 该 URL 保 存 为 离线 网 
页 。 这 使 失败 调查 无 需 在 网 络 传输 上 耗费 时 间 ， 也 避免 在 线 网 页 的 变化 使 得 缺陷 不 能 
重 现 。 
用 多 台 计算 机 执行 测试 时 ， 测 试 程序 应 该 将 测试 结果 提交 到 一 个 中 心 节 点 。 这 让 测试 人 
员 可 以 集中 审阅 和 管理 所 有 测试 结果 ， 避 免 了 手工 收集 多 份 结果 的 开销 。 通 常 ， 中 心 节 
点 是 一 个 基于 数据 库 的 Web 服 务 , 测试 程序 调用 它 的 接口 来 提交 测试 结果 。 该 服务 会 整理 
测试 结果 ， 并 将 它们 保存 在 数据 库 中 。 另 一 种 设计 是 编写 一 个 数据 收集 程序 ， 它 扫描 所 
有 的 测试 执行 计算 机 来 收集 测试 结果 ， 并 将 整理 后 的 数据 保存 在 数据 库 中 。 
让 测试 人 员 可 以 通过 查询 命令 来 获取 特定 的 测试 结果 。 为 了 支持 测试 调查 ， 测 试 平台 在 
显示 测试 结果 时 需要 支持 排序 、 过 滤 、 分 组 等 功能 。 将 测试 结果 保存 在 关系 型 数据 库 是 
支持 此 需求 的 典型 设计 。 测试 人 员 可 以 通过 SQL 查 询 来 分 析 每 个 测试 失败 的 错误 消息 , 从 
而 分 组 相似 的 失败 、 过 滤 已 知 的 失败 、 查 询 某 个 失败 的 出 现 频 率 等 。 此 外 ， 数据库 能 够 
保存 以 往 的 测试 结果 ， 这 方便 测试 人 员 比 较 当 前 版 本 和 历史 版 本 的 结果 ， 从 而 快速 发 现 
新 的 失败 。 


恰 如 6.2.3 节 所 讨论 的 , 测试 人 员 应 该 开发 面向 调试 的 测试 代码 , 该 实践 在 HiVAT 中 更 加 重要 。 
在 设计 之 初 ,测试 人 员 就 应 该 考虑 如 何 分 析 HiVAT 产 生 的 海量 测试 结果 ， 并 在 测试 生成 、 测 试 执 
行 、 测 试 报告 等 各 个 环节 做 出 相应 的 设计 。 实 际 运行 HiVAT 后 ,测试 人 员 会 发 现 测试 调查 面临 一 
些 新 的 挑战 。 这 时 ， 他 需要 调整 设计 ， 使 HiVAT 的 调查 效率 随 着 测试 迭代 而 逐步 提高 。 


口 


口 


6.5 小结 


本 章 讨 论 了 测试 开发 的 基本 分 类 ， 介绍 了 一 些 自 动 化 测试 和 计算 机 辅助 测试 的 目标 、 设 计 、 
实现 和 经 验 。 


口 测试 开发 的 对 象 包括 自动 执行 的 测试 用 例 和 辅助 测试 活动 的 工具 。 

O 好 的 测试 开发 策略 的 4 个 特征 : 产品 相关 、 聚 焦 风险 、 多 种 多 样 、 讲 求实 用 。 
口 测试 开发 也 是 一 种 软件 开发 ， 拥 有 规划 、 设 计 、 实 现 、 运 维 等 活动 ， 需 要 项 目 管理 、 测 
试 设计 、 代 码 实 现 等 技能 。 
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Q 6# 测试 开发 


O 自动 化 测试 金字 塔 是 一 个 概念 模型 ， 摘 述 了 自动 化 测试 用 例 在 理想 情况 下 的 分 布 。 测 试 
人 员 应 该 通过 逐步 交付 有 价值 的 测试 用 例 来 达成 该 目标 。 

口 可 调试 性 是 测试 代码 的 基本 需求 ， 需 要 在 设计 和 实现 的 全 过 程 予以 重视 。 

口 单元 测试 和 系统 测试 的 测试 代码 具有 显著 差异 。 测 试 人 员 需 要 根据 所 开发 的 代码 ， 选 用 
恰当 的 设计 和 技术 。 
口 计算 机 辅助 测试 的 目标 是 人 尽 其 才 ( 自由 发 挥 测 试 人 员 的 智能 ) 和 物 尽 其 用 (充分 利用 
计算 机 的 性 能 )。 

口 掌握 多 种 开发 技术 能 够 帮助 测试 人 员 高 效 地 完成 多 样 化 的 测试 任务 。 

口 利用 大 规模 自动 化 测试 ， 测 试 人 员 可 以 开发 出 和 新 的 测试 策略 ， 完 成 其 他 技术 难以 达成 
的 测试 目标 。 
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James Bach 是 语 境 驱动 测试 学 派 " 的 奠基 人 之 一 。 他 在 该 领域 进行 了 持续 地 研究 和 实践 ， 并 
通过 课程 “快速 软件 测试 ”” 将 研究 成 果 传 播 给 测试 社区 。 在 他 的 知识 体系 中 ， 启 发 式 测试 策略 
模型 HTSM ( 参见 4.2.1 节 ) 是 基础 性 的 概念 框架 ， 用 来 组 织 各 种 测试 相关 的 因素 和 技术 。 该 模型 
将 项 目 语 境 抽象 为 4 个 因素 : 产品 元 素 、 项 目 环境 、 质 量 标准 、 测 试 技术 ， 并 通过 产品 元 素 、 项 
目 环境 和 质量 标准 来 驱动 测试 技术 。 


HITISM 提 醒 测 试 人 员 ， 软 件 测试 需要 综合 考虑 产品 元 素 、 项 目 环境 、 质 量 标准 和 测试 技术 。 所 
谓 “ 优 秀 的 测试 ”并 不 是 使 用 最 前 沿 、 最 高 级 的 测试 技术 ， 而 是 根据 产品 和 项 目的 实际 情况 选择 恰 
当 的 测试 方法 。 为 了 制定 出 符合 项 目 语 境 的 测试 策略 ， 本 章 将 讨论 如 何 从 测试 视角 来 研究 产品 ， 下 
一 章 将 讨论 如 何 研 究 项 目 环境 。 本 章 的 主要 内 容 包括 软件 实现 分 析 、 软 件 业务 研究 和 背景 领域 研究 。 


7.1 静态 分 析 


静态 分 析 是 在 不 运行 软件 的 情况 下 ,通过 阅读 源 代码 来 研究 产品 的 活动 。 对 于 测试 人 员 而 言 ， 
阅读 代码 将 帮助 他 更 好 地 理解 产品 实现 和 代码 变更 ,以 产生 更 好 的 测试 想法 。 本 节 讨 论 静 态 分 析 
在 测试 活动 中 的 常见 应 用 ， 并 介绍 一 些 基本 实践 方法 。” 


7.1.1 浏览 源 代码 来 理解 产品 实现 


刚 接触 一 个 项 目 时 , 测试 人 员 可 以 浏览 产品 源 代 码 来 掌握 其 基本 情况 。 由 于 许多 项 目的 源 代 
码 在 十 万 行 以 上 ,有些 项 目 甚 至 达到 数 百 万 行 , 所 以 测试 人 员 仔细 阅读 所 有 代码 是 不 现实 的 。 合 
理 的 策略 是 浏览 源 代 码 树 ， 了 人 解 源 代码 的 目录 结构 、 模 块 划 分 、 代 码 分 布 等 基本 情况 ,然后 阅读 
部 分 源 代码 来 领会 编码 规范 、 架 构 设 计 、 代 码 实 现 等 技术 细节 。 在 今后 的 工作 中 , 测试 人 员 可 以 
根据 具体 的 测试 任务 再 去 阅读 相关 的 代码 。 


O http://context-driven-testing.com/。 
@ http:/www.satisfice.com/info_rst.shtml。 
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假设 , 测试 人 员 小 张 加 入 单元 测试 框架 NUnit 的 项 目 小 组 。 他 打算 花 半 天 的 时 间 来 阅读 源 代 
以 概览 产品 的 情况 。 首 先 ， 他 浏览 NUnit 的 源 代码 树 来 熟悉 代码 组 织 。 基 本 方法 如 下 。 


口 阅读 前 要 确定 阅读 目标 ， 但 阅读 时 不 要 拘泥 于 预定 的 目标 。 漫 无 目的 地 浏览 代码 会 浪费 
大 量 的 时 间 ， 而 围绕 具体 目标 来 读 代 码 能 让 阅读 者 更 有 效 地 利用 时 间 ， 并 获得 预期 的 成 
果 。 不 过 ,阅读 者 也 可 以 暂时 偏离 预定 的 方向 ， 研 究 某 些 他 临时 产生 的 想法 ,或 研读 一 
些 他 觉得 很 有 趣 的 代码 。 他 可 以 设 定 一 个 15 分 钟 的 时 间 盒 去 研究 这 些 临 时 目标 ， 当 时 间 
耗 尽 ， 他 会 记录 研究 成 果 和 值得 深入 探索 的 问题 ， 然 后 回 到 原 定 目标 上 继续 阅读 。 这 样 
进入 一 个 主题 再 退出 的 策略 被 称 为 浸入 与 退出 ， 其 优点 是 经 过 几 轮 的 浸入 与 退出 ， 阅 读 
者 可 以 渐渐 明了 产品 的 结构 和 模式 ， 并 形成 更 系统 的 研究 策略 [Kaner01]。 

O 通过 目录 识别 模块 。 通 常 ， 一 个 目录 对 应 一 个 模块 ， 目 录 的 父子 关系 表示 了 模块 间 的 隶 


属 关 系 。 阅 读者 可 以 用 目录 名 推测 模块 的 大 致 功能 ， 然 后 阅读 目录 中 的 几 个 源 文 件 来 了 
解 更 多 的 信息 。 


O 通过 模块 了 解 产品 的 组 成 结构 ， 知 晓 各 部 分 代码 的 功能 。 熟 悉 这 些 信息 有 助 于 评估 一 个 
代码 变更 集 所 涉及 的 模块 、 所 影响 的 功能 。 

O 借助 搜索 引 警 来 了 解 相 关 技 术 。 如 果 在 阅读 过 程 中 遇 到 一 些 不 熟悉 的 技术 ， 阅 读者 可 以 
用 搜索 引擎 来 获得 它们 的 资料 ， 并 通过 快速 阅读 来 大 致 了 解 它 们 的 背景 。 

O 一 边 阅读 ， 一 边 记 录 笔 记 。 阅 读 代码 时 应 该 记录 所 发 现 的 重要 信息 ， 否 则 大 脑 很 可 能 在 
几 天 后 就 将 它们 遗忘 。 笔 记 的 形式 可 以 多 种 多 样 ， 清 单 、 表 格 、 流 程 图 、 信 手 涂 脾 狐 可 ， 
只 要 能 帮助 阅读 者 理解 代码 即 可 。 因 为 源 代 码 已 经 承载 了 所 有 细节 ， 所 以 笔记 内 容 不 必 
追求 完备 ， 只 需 记 录 阅 读者 抽象 出 的 要 点 即 可 。 


经 过 一 段 时 间 的 阅读 ， 小 张 获得 了 如 下 笔记 。 这 些 笔记 记录 了 NUnit 源 代码 树 的 结构 ( 如 
-1 所 示 ) 和 各 个 目录 的 主要 作用 。 


O doc: _ HTML 格式 的 文档 ( 主页 为 index.html )， 内 容 面向 NUnit 的 使 用 者 。 

Q install: 一 组 Windows Installer XML ( WiX ) 格式 的 XML 文件 ， 定 义 了 所 生成 的 Windows 
安装 文件 (MSI) 需要 包含 的 程序 集 。 

O lib: “NUnit 依赖 的 程序 集 ， 包 括 log4net.dll、Rhino.Mocks.dll 和 NSubstitute.dll。 

口 nuget: 一 组 NuGet 格 式 的 XML 文件 , 帮助 Visual Studio 插 件 NuGet 将 NUnit 加 入 Visual Studio 
项 目 。 

O samples: 一 组 使 用 NUnit 的 样 例 代码 ， 所 使 用 的 语言 包括 C++/CLI、C#、F#、VB.NET。 
口 scripts: 一 组 支持 NAnt 的 XML 文 件 。 

QO sre: “NUnit 的 源 代码 和 测试 代码 。 

口 ClientUtilities: 一 批 NUnit 的 辅助 类 。 


°2 


O http://nunit.org/. 


14- 


Q ConsoleRunner: 运行 用 NUnit 编 写 的 单元 测试 的 控制 台 程 序 。 

口 GuiComponents: 基于 Windows Form 技 术 的 图 形 界面 组 件 ， 包 括 C# 源 代码 和 资源 文件 。 
口 GuiException: 一 批 图 形 界面 的 辅助 类 ， 用 于 显示 单元 测试 所 发 现 的 错误 。 

口 GuiRunner: 运行 用 NUnit 编 写 的 单元 测试 的 图 形 界面 程序 。 

口 NUnitCore: NUnit 的 核心 接口 和 类 ， 包 括 TestFixture 、TestMethod 、Logger 等 。 

口 NUnitFramework: NUnit 的 框架 代码 ， 包 括 属 性 、 约 束 、 异 常 等 。 

O NUnitMocks: 支持 虚拟 对 象 的 接口 和 类 。 

口 NUnitTestServer: NUnit 的 测试 服务 器 (nunit-agent.exe ) 的 代码 。 

口 PNUnit，NUnit 扩 展 PNUnit ( Parallel NUnit ) 的 代码 。 

QO ProjectEdit，NUnit 项 目 编辑 器 〈nunit-editorexe ) 的 代码 。 

O tests: 用 NUnit 编 写 的 NUnit 的 测试 用 例 。 

O tools: 支持 NUnit 开 发 的 一 组 工具 ， 包 括 编译 工具 NAnt 、 虚 拟 对 象 程序 库 NSubstitue、 
装 文件 生成 工具 WiX。 


并 


4 NUnit-2.6.2 

doc 

install 

lib 

nuget 

samples 

scripts 

4 src 

ClientUtilities 
ConsoleRunner 
GuiComponents 
GuiException 
GuiRunner 
NUnitCore 
NUnitFramework 
NUnitMocks 
NUnitTestServer 
PNUnit 
ProjectEditor 
tests 


tools 
图 7-1 NUnit 的 源 代码 树 和 代码 组 织 
由 于 小 张 希望 尽快 了 解 NUnit 的 核心 代码 ， 所 以 他 标记 了 以 下 目录 ， 作 为 深入 阅读 的 目标 。 


口 samples: 阅读 测试 样 例 来 理解 如 何 使 用 NUnit。 
口 ConsoleRunner: 阅读 控制 台 程 序 的 代码 来 理解 如 何 运行 NUnit 的 测试 用 例 。 控制 台 程序 比 
图 形 界面 程序 简单 ， 有 助 于 更 快 地 理解 NUnit 的 运作 机 制 。 
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O NUnitCore: 阅读 NUnit 的 核心 代码 来 理解 基本 概念 和 实现 。 
O NUnitFramework: 阅读 框架 代码 来 理解 NUnit 如 何 组 织 测试 用 例 。 


在 一 览 全 局 并 标记 重点 之 后 , 小 张 用 代码 清单 7-1 所 示 的 PowerShell 脚 本 来 分 析 源 代码 树 。 该 


脚本 分 析 当 


前 目录 和 子 目 录 下 所 有 C# 文 件 ， 并 输出 文件 名 、 文 件 所 在 目录 和 文件 行 数 到 控制 台 。 


小 张 将 输出 结果 重 定向 到 文本 文件 ， 再 用 Microsoft Excel 打 开 该 文本 文件 ， 并 生成 如 图 7-2 所 示 的 
数据 表 。 该 表 提 供 了 所 有 源 代码 文件 的 行 数 ， 为 进一步 的 分 析 提 供 了 基础 。 


代码 清单 7- 


$root = 


1 统计 文件 行 数 的 PowerShell 脚 本 


Get-Location 


"Folder tFile’ tLineCount" 

Get-ChildItem *.cs -Recurse | %{ 
$folderName = $ .DirectoryName. Substring ($root.Path. Length); 
$lineCount = (Get-Content $_.FullName).Length 
"$folderName  t${$ .Name}  t$lineCount" 


} 


A B C 


1 Bore B File | tinecount ~ 
2 \ClientUtilities\tests\resources TestResource.cs 17 
3 |\ClientUtilities\tests AssemblyListTests.cs 119 
4 \ClientUtilities\tests AssemblyWatcherTests.cs 133 
5 |\ClientUtilities\tests CategoryManagerTest.cs 80 
6 \ClientUtilities\tests CategoryParseTests.cs 144 
7 |\ClientUtilities\tests DomainManagerTests.cs 96 
8 \ClientUtilities\tests EventDispatcherTests.cs 239 
9 |\ClientUtilities\tests FileWatcherTests.cs 130 
| 10 |\ClientUtilities\tests MemorySettingsStorageTests.cs 104 


图 7-2 ”NUnit 的 源 代码 行 数 


代码 行 数 是 一 种 最 简单 的 代码 度量 , 不 能 提供 丰富 的 语义 信息 , 但 是 不 失 为 很 好 的 分 析 切 人 
点 。 第 一 , 一 段 很 简单 的 脚本 就 可 以 统计 出 源 代码 的 行 数 ， 让 阅读 者 能 够 立即 了 解 代码 的 情况 。 
第 二 , 任何 度量 方法 都 只 反映 特定 方面 的 信息 ,代码 行 数 简单 明了 , 较 一 些 复杂 的 方法 更 直接 地 
说 明了 代码 的 情况 。 第 三 , 理解 产品 实现 需要 仔细 研读 代码 , 任何 度量 方法 都 是 辅助 。 既然 如 此 ， 
不 妨 从 最 简单 的 度量 入 手 。 


基于 如 
数 的 分 布 


图 7-2 所 示 的 数据 表 , 小 张 获得 了 代码 行 数 的 统计 结果 ( 详 见 表 7-1 ), 并 绘制 出 代码 行 
( 详 见 图 7-3 )。 由 表 7-1 可 知 ，NUnit 的 测试 代码 要 远 多 于 产品 代码 ， 测 试 代码 的 文件 


数 是 产品 代码 的 4.2 倍 , 测试 代码 的 代码 行 数 是 产品 代码 的 4.4 倍 , 这 暗示 NUnit 很 可 能 采用 测试 驱 
动 开 发 ， 自 动 化 测试 的 代码 量 很 大 。 小 张 还 看 出 NUnit 的 产品 代码 有 2 万 多 行 , 平均 到 每 个 文件 只 
有 145 行 。 这 说 明 NUnit 是 一 个 小 型 的 测试 框架 ， 大 多 数 源 代 码 文件 长 度 较 短 。 图 7-3 也 确认 大 部 
分 源 代 码 文件 的 长 度 小 于 500 行 ， 超 过 1000 行 的 文件 屈指 可 数 。 
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7.1 静态 分 析 


表 7-1 ”NUnit 的 代码 行 数 统计 


文件 数 代码 行 数 代码 行 数 /文件 数 

产品 代码 158 22944 145.2 
测试 代码 ( 文件 名 以 Tests.cs 结 尾 ) 674 102534 152.1 
总 和 832 125478 150.8 
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图 7-3” 源 代码 文件 (产品 代码 和 测试 代码 ) 的 代码 行 数 分 布 


随后 ， 小 张 绘制 出 图 7-4， 以 获悉 代码 行 数 最 多 的 10 个 文件 。 由 该 图 可 知 ， 代 码 最 多 的 是 
Assert.cs。 通 过 阅读 代码 ( 详 见 图 7-5 ), 小 张 发 现 Assert.cs 包 含 一 批 测试 断言 函数 。 汤 言 函数 数量 
庞大 且 函 数 注释 较 长 ,该 文件 达到 3600 多 行 。 但 是 每 个 函数 都 很 简单 ， 所 以 整个 文件 的 复杂 度 并 
不 高 。 接 下 来 3 个 代码 较 多 的 文件 与 图 形 界面 相关 , 说 明 图 形 界面 是 NUnit 中 相对 复杂 的 部 分 。 然 


后 是 测试 加 载 器 TestLoadercs， 阅 读 其 代码 可 知 它 帮助 测试 


\ 一 人 一 


ZT 


3 个 约束 相关 的 文件 ， 这 暗示 约束 是 NUnit 中 一 个 较 复 杂 的 概念 。 


\NUnitFramework\framework\Assert.cs 


\GuiRunner\nunit-gui\NUnitForm.cs 


\GuiComponents\Uikit\TestSuiteTreeView.c’ 1400 


\GuiComponents\Uikit\TestTree.ccs mm 826 
\ClientUtilities\util\TestLoader.cs mm 821 
\NUnitFramework\framework\Constraints\ConstraintExpression.cs i 808 
\NUnitFramework\framework\Constraints\ConstraintFactory.cc — 807 
\NUnitFramework\tests\Constraints\CollectionConstraintTests.s MENEE 728 
\NUnitCore\core\Builders\PairwiseStrategy.cs mm 695 
\NUnitFramework\framework\CollectionAssert.cs MENEE 658 
\NUnitCore\core\TestSuite.cs — 657 
\GuiException\tests\CSharpParser\TestTokenClassifier.cs 632 
\NUnitCore\tests\EventQueueTests.cs SN 626 
\NUnitFramework\tests\EquabFixture.cs ME 578 
\ProjectEditor\editor\PropertyEditor\PropertyView.Designer.cs mm 563 
\NUnitCore\interfaces\RuntimeFramework.cs MENEE 557 
\GuiException\tests\Controls\TestCodeBox.cs NN 557 
\NUnitFramework\framework\Constraints\EqualConstraint.cs MENE 556 


\NUnitFramework\framework\DirectoryAssert.cs MENE 553 


图 7-4 ”代码 行 数 最 多 的 10 个 文件 
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器 加 载 和 印 载 测试 用 例 。 最 后 是 


3666 


“217 ， 


QTE ARP 


TE 
PP 


B Assert.cs - Notepad2 = a 
File Edit View Settings ? 

1996 /// <summary> a 
1997 /// Nerifies that two objects are equal. Two objects are considered 

1998 /// equal if both are null, or if both have the same value. NUnit 

1999 /// has special semantics for some object types. 

2000 /// If they are not equal an <see cref="AssertionException"/> is thrown. 

2001 /// </summary> 

2002 /// <param name="expected">The value that is expected</param> 

2003 /// <param name="actual">The actual value</param> 

2004 /// <param name="message">The message to display in case of failure</param> 

2005 /// <param name="args">Array of objects to be used in formatting the message</param> 

2006 public static void AreEqual(object expected, object actual, string message, params object[] args) 
2007 { 

2008 Assert.That(actual, Is.EqualTo(expected), message, args); 

2009 } 


图 7-5 ”Assert.cs 源 代码 ( 局 部 ) 


为 了 更 好 地 理解 模块 的 代码 量 ， 小 张 又 绘制 了 图 7-6， 以 了 解 代 码 行 数 最 多 的 10 个 目录 。 由 
该 图 可 知 ,图形 界面 模块 UiKit 拥 有 最 多 的 代码 , 其 次 是 Constraints , core , framework, util, interface 
等 NUnit 的 核心 模块 。 随 后 是 约束 的 测试 代码 (\NUnitFramework\tests\Constraints )， 这 再 次 暗示 
约束 可 能 是 比较 复杂 的 概念 ， 拥 有 较 多 的 产品 代码 和 测试 代码 。 


\GuiComponents\ViKit 9661 
\NUnitFramework\framework\Con straints 9504 
\NUnitCore\core 9347 
\NUnitFramework\framework 8885 


\CliientUtilities\util m 7320 
\NUnitCore\interfaces EEE 3942 


\NUnitFramework\tests\Constraints Es 3826 


\GuiRunner\nunit-gui es 3712 
\tests\test-assembly  mmmmmmmmm 3497 


\GuiException\UiException\Controls mmm 3040 


\NUnitCore\core\Builders  §=2924 
\GuiException\tests\Controls mE 2888 


\ProjectEditor\editor\PropertyEditor mmm 2636 


\GuiRunner\nunit-gui\SettingsPages Bm 2268 


\NUnitFramework\tests\Syntax mmm 2256 


\Guixception\UiException\CSharpParser mam 2043 
\NUnitFramework\framework\Attributes MM 1914 


\GuiException\tests\CSharpParser MM 1784 

\GientUtiities\util\Services mum 1617 
\PNUnit\launcher mum 1420 
\NUnitCore\interfaces\Extensibility mmm 1131 
\ProjectEditor\editor\Main mmm 1128 
\ConsoleRunner\nunit-console mum 1084 
\ProjectEditor\tests\Presenters m= 1025 


图 7-6 ”代码 行 数 最 多 的 10 个 目录 


根据 表 7-1、 图 7-3、 图 7-4 和 图 7-6， 小 张 获得 了 NUnit 的 代码 分 布 ， 了 解 了 模块 和 文件 的 代码 
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量 , 为 深入 研究 提供 了 基本 信息 。 如 果 熟 秋 脚 本 语言 和 电子 表格 ,获得 统计 信息 并 作 图 只 需 十 多 
分 钟 的 时 间 ， 而 且 还 可 以 绘制 更 多 的 图 表 ， 从 不 同 的 角度 挖掘 源 代码 的 信息 。 


回顾 以 上 代码 度量 步 又 不 难 获 得 如 下 经 验 。 


口 代码 度量 提供 了 代码 某 个 方面 的 概况 ， 可 以 帮助 阅读 者 一 览 全 局 。 

口 简单 的 代码 度量 很 容易 实现 。 本 闻 的 案例 表明 不 使 用 语法 分 析 、 仅 利用 文本 分 析 就 能 提 
供 一 些 有 帮助 的 信息 。 

O 用 恰当 的 工具 ( 电子 表格 、 数 据 库 等 ) 分 析 数 据 ， 可 以 快速 地 计算 并 展示 数据 。 这 提高 
了 数据 分 析 的 效率 。 

口 代码 度量 只 提供 了 代码 阅读 的 线索 ， 获 得 更 透彻 地 理解 仍旧 需要 深入 阅读 源 代码 。 


在 知晓 代码 的 基本 情况 后 ,小 张 开 始 阅读 具体 的 代码 , 来 获得 更 深刻 的 理解 。 通 常 ， 阅 读者 
没有 时 间 查 看 所 有 源 代码 ,因此 他 需要 选择 性 地 阅读 。 基本 的 策略 是 选择 与 当前 测试 任务 有 关 的 
代码 。 因 为 小 张 的 阅读 目标 是 熟悉 NUnit 代 码 , 所 以 他 打算 阅读 一 些 核心 的 且 自 己 感 兴趣 的 代码 。 
他 所 选择 的 代码 是 约束 。 


小 张 将 约束 的 测试 用 例 作为 阅读 的 切 和 人 点, 利用 测试 代码 来 理解 约束 的 用 法 和 语义 。 考虑 到 
NUnit 提 供 了 很 好 的 文档 ， 小 张 决定 从 文档 入 手 。 他 通过 文档 的 首页 ( doc\index.html ) 发 现 了 一 
批 约束 相关 的 页 面 ( 详 见 图 7-7 )。 他 快速 浏览 这 批 页 面 ， 重 点 阅读 文档 摘要 和 代码 示例 ， 从 而 逐 
渐 形 成 以 下 想法 。 


口 约束 的 全 称 应 该 是 “基于 约束 的 断言 模型 "， 它 由 一 组 类 构成 ， 用 于 编写 测试 检查 代码 。 
口 利用 约束 编写 的 断言 代码 类 似 于 测试 领域 专属 语言 ， 让 测试 开发 人 员 可 以 用 精炼 的 代码 
来 表达 丰富 的 语义 。 例 如 ， 语句 Assert.That (intArray, Has.All.GreaterThan(0) ) 检查 整 
数 数组 intArray 的 所 有 元 素 都 大 于 0。 该 语句 的 核心 是 约束 代码 Has .All.GreaterThan(0), 它 
用 短小 清晰 的 格式 表达 出 检查 方法 ， 让 测试 逻辑 一 目 了 然 。 
口 基于 约束 的 断言 代码 包括 两 部 分 : 约束 的 使 用 者 ( 如 断言 函数 Assert.That(object actual, 
IResolveConstraint constraint) ) 和 约束 的 实现 者 ( 实现 接口 IResolveConstraint 的 对 象 )。 
口 从 Assert.That 的 函数 签名 推测 ,约束 的 实现 手法 类 似 于 命令 模式 [Gof94]， 即 测试 代码 定 
义 命令 ， 然 后 将 命令 传递 给 Assert.That， 由 后 者 调用 命令 。 
O 约束 的 呈现 方式 是 一 个 表达 式 ( 如 Has .All.GreaterThan(0) )。 其 实现 方式 可 能 是 解释 器 
模式 [Gof94]， 即 通过 表达 式 树 来 定义 计算 逻辑 。 
为 了 检验 对 代码 实现 的 推测 ， 小 张 搜 索 源 代码 ， 发 现 了 Assert.That(…) 对 IResolveConstraint 
的 调用 ( 详 见 图 7-8 ) 和 IResolveConstraint 的 定义 ( 详 见 图 7-9 )。 由 这 两 段 代 码 ， 他 基本 确认 约 
束 使 用 者 与 约束 实现 者 通过 命令 模式 来 连接 。 然 后 ， 他 浏览 约束 实现 类 的 源 代码 (位 于 目 \src\ 
NUnitFramework\framework\Constraints )。 根 据 ConstraintExpression ( 详 见 图 7-10 ) 等 类 的 实现 
代码 ， 他 基本 确定 约束 的 逻辑 由 表达 式 树 来 实现 。 
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Constraint-Based Assert Model (NUnit 2.4) 


The constraint-based Assert model uses a single method of the Assert class for all 
assertions. The logic necessary to carry out each assertion is embedded in the 
constraint object passed as the second parameter to that method. 


Here's a very simple assert using the constraint model: 
Assert.That( myString, Is.EqualTo ("Hello") ); 


The second argument in this assertion uses one of NUnit's syntax helpers to 
create an EqualConstraint. The same assertion could also be made in this form: 


Assert.That( myString, new EqualConstraint ("Hello") ); 


Using this model, all assertions are made using one of the forms of the Assert.That 
( method, which has a number of overloads... 


Assert. That( object actual, IResclveConstraint constraint ) 
Assert.That( object actual, IResclveConstraint constraint, 


string message ) 
Assert.That( object actual, IResolveConstraint constraint, 
string message, object[] parma ) 


Assert.That( ActualValueDelegate del, IResolveConstraint constraint ) 
Assert.That( ActualValueDelegate del, IResolveConstraint constraint, 


string message ) 
Assert.That( ActualVelueDelegate del, IResolveConstraint constraint, 
string message, object[] parms ) 


图 7-7 约束 的 文档 


Assert.cs - Notepad2 


File Edit View Settings ? 


303 
304 
305 
306 
307 
308 
309 
310 
311 
312 
313 
314 


目 NUNIT 2.6.2 
目 GETTING STARTED 
m WRITING TESTS 
@ ASSERTIONS 
@ ATTRIBUTES 
@ CONSTRAINTS 
m EQUAL CONSTRAIN 
m SAMEAS CONSTRAI 
m CONDITION CONSTE 
m COMPARISON CONS 
m PATH CONSTRAINT: 
m TYPE CONSTRAINT: 
m STRING CONSTRAIN 
m COLLECTION CONS’ 
m PROPERTY CONSTR 
m THROWS CONSTRAI 
m COMPOUND CONST. 
@ DELAYED CONSTR4 
m LIST MAPPER 
@ REUSABLE CONSTR 
m TEST CONTEXT 
@ RUNNING TESTS 


static public void That(object actual, IResolveConstraint expression, string message, params object[] args) ^ 


{ 


Constraint constraint = expression.Resolve(); 


Assert. IncrementAssertCount(); 
if (!constraint.Matches(actual)) 


{ 


B 


MessageWriter writer = new TextMessageWriter(message, args); 


constraint.WriteMessageTo(writer) ; 
throw new AssertionException(writer.ToString()); 


图 7-8 ”Assert.That 对 IResolveConstraint 的 调用 


IResolveConstraint.cs - Notepad2 


File Edit View Settings ? 


7 
8 


namespace NUnit.Framework.Constraints 


{ 


/// <summary> 


- -EE 


/// The IConstraintExpression interface is implemented by all 
/// complete and resolvable constraints and expressions. 


/// </summary> 
public interface IResolveConstraint 


{ 


/// <summary> 


/// Return the top-level constraint for this expression 


/// </summary> 
/// <returns></returns> 
Constraint Resolve(); 


图 7-9 ”IResolveConstraint 的 定义 


B ConstraintExpression.cs - Notepad2 = a | x | 
File Edit View Settings ? 
10 namespace NUnit. Framework.Constraints 


12 /// <summary> 

13 /// ConstraintExpression represents a compound constraint in the 

14 /// process of being constructed from a series of syntactic elements. 
15 {1i 

16 /// Individual elements are appended to the expression as they are 

17 /// reognized. Once an actual Constraint is appended, the expression 
18 /// returns a resolvable Constraint. 

19 /// </summary> 

20 public class ConstraintExpression : ConstraintExpressionBase 

21 { 

22 /// <summary> 

23 //{ Initializes a new instance of the <see cref="T:ConstraintExpression"/> class. 
24 /// </summary> 

25 public ConstraintExpression() { } 

26 


图 7-10 ”ConstraintExpression 的 定义 
由 以 上 代码 阅读 过 程 ， 不 难 提取 出 一 些 代 码 阅读 的 基本 实践 。 


口 阅读 者 针对 一 个 特定 的 主题 进行 阅读 ， 以 点 带 面 地 推动 代码 理解 。 

O 对 于 一 组 代码 ， 阅 读者 需要 从 外 部 代码 的 角度 理解 它们 的 功能 和 用 法 ， 并 评估 它们 对 整 
个 产品 的 贡献 。 
O 对 于 一 组 代码 ， 阅 读者 需要 理解 它们 的 实现 方法 ， 包 括 所 使 用 的 设计 、 所 采用 的 技术 、 
所 依赖 的 其 他 代码 等 。 

口 了 解 语言 特性 、 惯 用 设计 、 命 名 规范 等 基础 知识 会 帮助 阅读 。 阅 读者 需要 主动 地 学 习 和 
积累 这 方面 的 知识 。 

O 代码 阅读 并 没有 固定 的 阅读 顺序 。 阅 读者 可 以 由 一 个 函数 或 类 切 人 ， 搜 索 并 阅读 它 的 调 
用 代码 和 实现 代码 。 他 也 可 以 顺序 浏览 一 个 目录 中 的 源 代码 文件 ， 以 通盘 了 解 。 

O 在 阅读 过 程 中 ， 阅 读者 会 产生 一 些 想 法 。 应 该 将 它们 记录 下 来 ， 并 阅读 更 多 的 代码 来 检 
验 这 些 想 法 ， 从 而 获得 更 深刻 的 理解 。 


7.1.2 分 析 源 代码 来 帮助 测试 设计 


在 具体 的 测试 任务 中 , 测试 对 象 通常 是 一 组 代码 变更 。 它 们 或 增加 产品 的 功能 , 或 重 构 已 有 
的 代码 , 或 修复 已 知 的 缺陷 。 其 特征 都 是 只 改动 产品 的 部 分 代码 ,并 要 求 修 改 后 的 产品 可 以 正常 
工作 。 为 了 更 有 效 的 测试 ， 测 试 人 员 需 要 阅读 代码 来 以 理解 变更 的 影响 ， 并 激发 测试 想法 。 

影响 分 析 是 一 种 常用 的 代码 分 析 方法 ， 旨 在 分 析 目 标 代码 受 哪些 代码 的 影响 ,又 会 影响 到 哪 
些 代码 。 对 于 测试 任务 而 言 ， 测 试 人 员 主 要 关注 以 下 两 个 方面 。 


口 哪些 代码 会 影响 被 修改 代码 ?被 修改 代码 的 输入 数据 从 何 而 来 ”如 何 构造 测试 用 例 让 程 
序 执行 覆盖 被 修改 代码 ? 如 何 构造 测试 用 例 以 测试 被 修改 代码 的 状态 ? 能 否 构造 测试 用 
例 让 被 修改 代码 发 生 错误 ? 
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Ch 被 修改 代码 会 影响 到 哪些 代码 ? 被 修改 代码 的 输出 数据 流向 何 处 ?如何 观察 到 被 修改 代 
码 的 输出 ? 如 何 构造 测试 用 例 以 更 全 面 地 测试 受 影 响 的 代码 ? 能 否 让 被 修改 代码 产生 
“异常 ”的 输出 数据 ， 令 受 影响 的 代码 发 生 错误 ? 


为 了 识别 代码 之 间 的 影响 ， 测 试 人 员 需 要 在 阅读 代码 的 过 程 中 实施 控制 流 分 析 和 数据 流 分 析 。 
口 控制 流 分 析 检 查 语句 A 的 执行 是 否 影响 语句 B 的 执行 。 以 下 是 一 些 基 本 的 分 析 规 则 。 


m 如 果 函 数 A 调用 函数 B， 那 么 函数 A 控制 影响 函数 8， 也 称 函 数 B 控 制 依赖 于 函数 A。 
e 分支 语句 的 条 件 表达 式 控制 分 支 语句 的 子 语句 。 例 如 ， 在 if (expr) { A; } else { B; } 
中 ， 表 达 式 expr 控 制 影 响 语句 A 和 语句 8， 也 称 语句 A 和 语句 B 控 制 依赖 于 表达 式 expr。 
a 循环 语句 的 条 件 表达 式 控制 循环 语句 的 循环 体 。 例 如 ， 在 while (expr) { A; F, X 
达 式 expr 控 制 影响 语句 A， 也 称 语句 A 控制 依赖 于 表达 式 expr。 
m 跳 转 语句 所 跳 过 的 语句 依赖 于 跳 转 语句 。 例 如 ， 在 计 (expr) { return; } A; 中 ， 跳 转 
语句 return 改 变 了 程序 的 执行 流 , 执行 return 语 句 将 导致 语句 A 不 被 执行 。 于 是 , return 
语 境 控制 影响 语句 A， 也 称 语句 A 控制 依赖 于 return 语 句 。 
口 数据 流 分 析 检 查 语句 A 赋值 的 数据 是 否 被 语句 B 使 用 。 
m 如 果 变 量 x 被 语句 A 赋值 或 修改 ， 那 么 称 语句 A 是 变量 x 的 定义 点 。 
e 如 果 变 量 x 的 值 被 语句 8 使用， 那么 称 语句 B 是 变量 x 的 引用 点 。 
mw 如 果 语 句 A 是 变量 x 的 定义 点 , 语句 8 是 变量 x 的 引用 点 , 存在 一 条 从 A 到 8 的 执行 路 径 ,是 
该 路 径 上 x 不 被 修改 ， 那么 称 语句 A 数据 影响 语句 B， 也 称 语句 8 数据 依赖 于 语句 A。 
接 下 来 通过 一 个 实例 来 展示 影响 分 析 在 代码 阅读 中 的 运用 。 程序 we" 是 Unix 平 台 的 一 个 常用 命 
令 ， 用 来 统计 文本 文件 的 字符 数 、 单 词 数 和 行 数 。 图 7-11 展 示 了 wec 最 基本 的 函数 调用 关系 ?。 主 函 
数 main 从 命令 行 接受 待 分 析 的 文件 名 ， 然 后 调用 函数 counter 完 成 统计 任务 。 为 了 统计 字符 、 单 词 
和 行 的 数 日 ，counter 调 用 函数 getword， 而 后 者 调用 函数 isword 来 判断 一 个 字符 是 否 为 单词 字符 。 


| main() | E | Counter() | B | getword() | [> | isword() | 
图 7-11 we.c 中 的 函数 调用 关系 


假设 函数 isword 的 实现 代码 被 修改 , 测试 人 员 需 要 检查 该 代码 变更 没有 引入 错误 。 他 在 源 代 
码 文件 wc.c 中 搜索 isword 的 调用 点 ,发现 了 它 的 两 个 调用 点 都 在 函数 getword 中 ( 具体 实现 请 参考 
代码 清单 7-2 )。 然 后 ， 他 对 每 一 个 调用 点 进行 了 分 析 。 


口 getword 的 第 一 个 调用 点 在 语句 C。 语 名 5 使 用 变量 c 〈 即 语句 5 是 变量 c 的 引用 点 )， 该 变量 


D we 的 样 例 代码 : http:/www.gnu.org/software/cflow/manual/html node/Source-ofwc-command.html。 
© 完整 的 函数 调用 图 请 参考 : http:/www.gnu.org/software/cflow/manual/html node/ASCII-Tree.html#ascii%620tree。 
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的 取 值 来 自 于 语句 8 ( 即 语句 8 是 变量 c 的 定义 点 ) 故 语句 (数据 依赖 于 语句 8。 在 语句 中 ， 
变量 c 的 值 读 取 自 文件 指针 生 ， 而 文件 指针 的 定义 点 是 语句 A。 所 以 ,完整 的 数据 流 是 A>B 
一 C， 即 被 修改 代码 isword 的 输入 数据 来 自 于 徊 对 应 的 文件 ( 数据 流 图 请 参考 图 7-12 )。 这 
提示 测试 人 员 构 造 各 种 各 样 的 文件 以 周密 地 测试 代码 变更 。 


m 构造 一 个 或 一 组 文件 覆盖 isword 的 输入 参数 c 的 所 有 取 值 ， 即 unsigned char 的 所 有 取 值 
(256 个 值 )。 

a 为 了 检查 wc 的 正确 性 ， 构 造 一 个 或 一 组 文件 包含 空格 、Tab 键 、 数 字 、 字 母 、 回 车 、 换 
行 等 字符 ， 以 检查 wc 正 确 地 统计 了 字符 数 、 单 词 数 和 行 数 。 

m 测试 ASCI 和 Unicode 编 码 的 文件 。 

m 测试 文本 文件 和 二 进 制 文件 。 


O 在 语句 C 中 ，getword 位 于 if 语 句 (分 支 语句 ) 的 条 件 表 达 式 中 , 它 的 返回 值 会 影响 程序 的 
执行 。 进 一 步 分 析 可 知 ， 语 句 D 和 语句 E 控 制 依赖 于 语句 C。 进 一 步 地 ， 语 句 E 是 跳 转 语句 ， 
如 果 它 被 执行 ， 那 么 语句 F 不 会 被 执行 ， 故 语句 F 控 制 依赖 于 语句 E。 所 以 ， 完 整 的 控制 流 
是 C 一 {D;E} 一 F 一 COUNT(c) ( 控制 流 图 请 参考 图 7-12 ),。 分 析 控 制 流 上 的 语句 可 知 ， 它 们 会 
递增 变量 wcount 、ccount 和 lccount 的 值 。 这 提示 了 一 些 测试 想法 。 


m 构造 测试 输入 ， 计 wcount 、ccount 或 1ccount 的 值 不 被 修改 。 
m 构造 测试 输入 ， 让 wcount 、ccount 或 1ccount 发 生 整数 溢出 。 

口 getword 的 第 二 个 调用 点 在 语句 H。 经 过 分 析 可 得 数据 流 A 一 F 一 H 和 控制 流 H~E 一 F (详情 请 
参考 图 7-12 )。 之 后 ， 测 试 人 员 可 实施 测试 分 析 ， 以 获得 测试 想法 。 


代码 清单 7-2 ”wec.c 中 getword 和 isword 的 代码 


/* Return true if C is a valid word constituent */ 
static int 
isword (unsigned char c) 


return isalpha2 (c); // 此 处 代码 被 修改 
} 
/* Increase character and, if necessary, line counters */ 
#define COUNT(c) \ 
ccount++; \ 
if ((c) == '\n') \ 
lcount++; 


/* Get next word from the input stream. Return 0 on end 
of file or error condition. Return 1 otherwise. */ 

int 

getword (FILE *fp) // A: 变量 fp 的 定义 点 
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int c; 
int word = 0; 


if (feof (fp)) 
return 0; 


while ((c = getc (fp)) != EOF) 
if (isword (c)) 


wcount++; 
break; 


} 
COUNT (c); 
} 


for (; c != EOF; c = getc (fp) 
COUNT (c); 


if (!isword (c)) 
break; 
} 


return c != EOF; 


} 


// 


wo 


) // G: 


y y 
Mni Mii 
H I 


: 变量 c 的 定义 点 ， 也 是 变量 fp 的 引用 点 
: 函数 isword 的 调用 点 ， 也 是 变量 C 的 引用 点 


; 该 语句 控制 依赖 于 语句 C 
: 该 语句 控制 依赖 于 语句 C 


: 该 语句 控制 依赖 域 语句 E 


变量 Cc 的 定义 点 ， 也 是 变量 fp 的 引用 点 


: 该 语句 控制 依赖 于 语句 ] 
: 函数 isword 的 调用 点 ， 也 是 变量 c 的 引用 点 
: 该 语句 控制 依赖 于 语句 I 


图 7-12 展 现 了 以 上 影响 分 析 的 结果 ， 其 中 实 线 表示 数据 流 ， 虚 线 表示 控制 流 。 对 于 简单 的 程 
影响 关系 即 可 ， 无 需 绘制 详细 的 图 形 。 对 于 复杂 的 程序 ， 
测试 人 员 可 以 一 边 阅 读 , 一 边 写 下 重要 的 语句 或 函数 ,并 绘制 出 它们 之 间 的 关系 。 这 能 够 帮助 他 
同时 追踪 多 行 代码 ， 发 掘 它们 的 关系 ， 从 而 较 完 整地 理解 代码 。 


序 ， 测 试 人 员 只 要 在 头脑 中 分 析 语 句 的 


A: getword(FILE*fp) 


f 
Y? y * 
B: c=getc(fp) F: c=getc(fp) | 
c c 
Ww 


C: if(isword(c)) 


H: if(isword(c)) | 


Y 


D: wc ount++ 


E: br eak 


V 


F: COUNT(c) 


Vv 
E: break | 


之 
F: COUNT(c) | 


v 


saas >| C count++; 
if((c)=='"\n') 
lcount++; 


图 7-12 ”函数 getword 的 数据 流 和 控制 流 〈 局 部 ) 
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值得 一 提 的 是 ， 全 局 变量 是 需要 特别 关注 的 对 象 。 它 们 往往 被 软件 的 多 个 功能 读 写 ， 会 广 
泛 地 影响 软件 的 控制 流 和 数据 流 。 因 为 它们 的 读 写 代码 通常 分 布 在 多 个 文件 中 ， 只 阅读 变更 代 
码 不 能 完整 地 理解 它们 的 影响 。 此 时 ， 测 试 人 员 需 要 在 整个 源 代 码 树 上 搜索 它们 的 引用 点 和 和 
定义 点 ， 然 后 分 析 变更 代码 如 何 影响 这 些 引 用 点 、 又 如 何 被 这 些 定 义 点 所 影响 。 因 为 代码 修改 
者 很 可 能 没有 考虑 这 些 引 用 点 和 定义 点 ， 所 以 变更 代码 会 引入 某 些 缺陷 ， 而 全 面 的 影响 分 析 将 
找 出 这 些 问 题 。 


与 影响 分 析 相 似 , 污染 传播 分 析 也 是 一 种 基于 控制 流 和 数据 流 的 代码 分 析 方 法 [Chess07]。 它 
重点 关注 数据 流 ， 通 过 分 析 数 据 从 何 处 进入 软件 和 数据 如 何在 软件 中 传播 ,来 发 掘 隐藏 的 缺陷 。 
污染 传播 分 析 是 一 些 静 态 代码 检查 工具 的 基础 , 在 软件 安全 领域 得 到 成 功 的 应 用 , 能 够 发 现 许多 
动态 测试 难以 暴露 的 安全 性 问题 。 对 于 普通 的 测试 人 员 ， 即 便 没 有 代码 检查 工具 的 辅助 ,他 也 可 
以 利用 污染 传播 的 思想 来 指导 代码 阅读 ， 以 更 好 地 设计 测试 。 


污染 传播 的 核心 隐喻 是 “污染 ”和 “传播 "。 所 谓 “ 污 染 ” 是 指 被 污染 的 数据 ， 其 源头 通常 
是 包含 恶意 数据 的 攻击 性 和 输入。 所 谓 “传播 ”是 指 软件 没 能 过 滤 掉 被 污染 的 数据 ， 让 这 些 亚 意 数 
据 在 软件 中 传播 , 最 终 导 致 软件 故障 , 或 将 恶意 数据 传递 给 用 户 和 其 他 软件 。 为 了 发 现 此 类 问题 ， 
测试 人 员 可 以 考虑 以 下 代码 阅读 方法 。 


O 标记 软件 的 入 口 点 ， 即 寻找 接收 外 部 输入 的 代码 。 这 批 代码 会 调用 语言 、 程 序 库 或 平台 
的 API ( 这 些 API 的 名 字 常 包含 read 、receive 、accept、fetch 等 单词 ) 来 接受 数据 ， 其 数据 
来 源 包 括 用 户 输入 、 文 件 、 数 据 库 、 平 台 调 用 、 网 络 通信 等 。 

口 分 析 以 入 口 点 为 源头 的 数据 流 ， 寻 找 输入 检查 代码 。 通 常 ， 检 查 代 码 的 使 命 是 发 现 异 常 
输入 、 报 告 错 误 并 过 滤 掉 异常 数据 ， 使 污染 不 能 在 软件 中 传播 。 


m 如 果 不 存 在 检查 代码 ， 那 么 测试 人 员 分 析 使 用 输入 数据 的 代码 ， 然 后 构造 出 攻击 性 的 
输入 数据 ， 让 使 用 该 数据 的 代码 出 错 。 

m 如 果 存 在 检查 代码 ， 那 么 测试 人 员 仔 细 分 析 检 查 代码 ， 以 挖掘 检查 逻辑 的 漏洞 。 无 论 
是 否 发 现 了 确凿 的 漏洞 ， 他 都 可 以 针对 检查 代码 输入 攻击 性 的 数据 ， 以 测试 它 能 否 正 
确 地 过 滤 掉 恶意 数据 。 


O 标记 软件 的 出 口 点 ， 即 找到 发 送 输出 数据 的 代码 。 这 批 代码 会 调用 语言 、 程 序 库 、 平 台 
的 API ( 这 些 API 的 名 字 常 包含 write 、send 、output、flush 等 单词 ) 来 写 出 数据 ， 其 输出 日 
标 包括 用 户 界面 、 文 件 、 数 据 库 、 其 他 程序 、 网 路 服务 等 。 

口 分 析 以 出 口 点 为 终点 的 数据 流 ， 寻 找 输 出 之 前 清理 数据 和 格式 化 数据 的 代码 。 


m 清理 数据 的 代码 应 该 过 滤 掉 异常 数据 ， 使 得 污染 不 会 传递 给 其 他 软件 或 数据 存储 ( 文 
件 、 数 据 库 、 注 册 表 等 )。 测试 人 员 的 任务 是 分 析 这 些 代码 ， 然 后 通过 测试 用 例 来 展开 
攻击 ， 以 检查 它 能 否 正确 地 发 现 并 处 理 不 正确 的 数据 。 阅 读 代码 可 以 提供 更 多 的 攻击 
思路 ， 较 单纯 的 黑 盒 测试 更 加 高 效 。 
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m 格式 化 数据 的 代码 会 转化 数据 的 表现 形式 ， 以 产生 目标 软件 或 数据 存储 可 以 接受 的 数 
据 。 不 正确 的 格式 化 会 产生 错误 的 数据 ， 对 数据 接收 者 而 言 这 些 错 误 的 数据 也 是 一 种 
污染 。 测 试 人 员 的 任务 是 分 析 格 式 化 代码 ， 然 后 构造 测试 用 例 来 暴露 它们 的 问题 。 

a 尝试 寻找 一 条 从 人口 点 到 出 口 点 的 数据 流 。 在 该 数据 流 上 ， 输 入 检查 代码 和 输出 检查 


代码 都 存在 问题 ， 使 得 亚 意 的 数据 可 以 从 人 口 点 一 直 传播 到 出 口 点 ， 从 而 影响 到 其 他 
软件 或 数据 存储 。 


图 7-13 摘 录 自 4.2.3 节 ， 描 述 了 一 个 客户 端 -服务 器 架构 的 报表 系统 。 在 客户 端 ， 一 个 运行 在 
下 中 的 Silverlight 应 用 从 服务 端 获得 数据 , 并 绘制 报表 。 在 服务 端 , 一 个 同步 工具 将 外 部 数据 源 的 
数据 写 人 数据 库 , 一 个 Windows 服 务 读 取 该 数据 库 ， 并 将 数据 传递 给 一 个 IS 网 站 , 最 后 该 网 站 将 
数据 传递 给 客户 端的 Silverlight 应 用 。 


tn d Use Gjsem Bdmin 


daey Scheduled Taki 


Nis op chin ees edhe, ee ee i 
eee i ci E 


图 7-13 ”报表 系统 的 系统 生态 图 
根据 污染 传播 的 思路 ， 测 试 人 员 可 以 考虑 如 下 代码 阅读 策略 。 
口 阅读 同步 工具 和 数据 库 的 代码 ， 并 构造 测试 用 例 。 


m 检查 它 能 否 处 理 来 自 外 部 数据 源 的 异常 数据 。 

a 检查 它 不 会 将 错误 的 数据 写 人 数据 库 ,一 个 典型 日 严 重 的 错误 是 同步 工具 存在 SQL 注 入 
的 安全 漏洞 ， 让 来 自 外 部 数据 源 的 恶意 数据 算 改 或 删除 了 数据 库 的 数据 。 测 试 人 员 不 
应 该 假定 外 部 数据 源 是 安全 的 ， 因 为 它 可 能 被 其 他 软件 攻击 ， 以 致 于 包含 恶意 数据 。 
许多 安全 事故 表明 ， 黑 客 会 构造 出 一 条 攻击 链 ， 将 多 个 软件 作为 攻击 跳板 ， 以 攻陷 目 
标 软件 。 

e 数据 库 的 字段 往往 有 固定 的 长 度 ， 例 如 SQL Server 中 INT 是 32 位 ，BIGINT 是 64 位 ， 
NVARCHAR(20) 最 多 只 能 容纳 20 个 Unicode 字 符 等 。 测 试 人 员 需 要 检查 同步 工具 写 入 的 数 
据 是 否 会 超过 字段 的 长 度 ， 是 否 会 导致 存储 过 程 的 计算 发 生 错 误 。 
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O 阅读 Windows 服 务 和 IIS 网 站 的 代码 ， 并 构造 测试 用 例 。 


如 果 它 们 所 读 取 的 数据 库 包 含 错误 数据 ， 它 们 的 输入 检查 代码 能 否 发 现 错误 ?它们 能 
否 将 错误 信息 用 合理 的 方式 报告 给 最 终 用 户 和 系统 管理 员 ? 

数据 库 提供 了 符合 格式 和 范围 的 数据 ， 它 们 的 报表 计算 代码 是 否 正确 ?在 计算 过 程 中 
会 不 会 产生 数值 溢出 、 报 表 超 出 范围 、 排 版 错误 等 问题 ? 报表 计算 代码 能 否 发 现 这 些 
错误 ， 并 用 合理 的 方式 报 给 最 终 用 户 和 系统 管理 员 ? 

它们 的 输出 检查 代码 能 否 正确 工作 ? 错误 的 数据 和 报表 会 不 会 传递 给 客户 端的 
Silverlight 应 用 ? 这 些 被 污染 的 数据 会 不 会 破坏 客户 端 应 用 ， 导 致 用 户 数据 丢失 ? 
它们 的 输入 检查 代码 能 否 正确 工作 ?如果 客 户 端 提交 了 恶意 数据 ， 数 据 库 会 不 会 被 算 
BC? 测试 人 员 不 应 该 假设 客户 端 程序 是 安全 的 ， 因 为 黑客 可 以 编写 一 个 程序 ， 伪 装 成 
客户 端 应 用 向 IIS 网 站 提交 HTTP 请 求 。 


口 阅读 客户 端 程序 代码 ， 并 构造 测试 用 例 。 


m 客户 端的 输入 包括 用 户 提交 的 数据 和 HS 网 站 给 出 的 报表 。 
me 测试 人 员 检 查 用 户 提交 的 错误 数据 不 会 被 传递 给 IIS 网 站 ， 即 不 存在 从 用 户 到 网 站 的 污 


染 传播 路 径 。 这 通常 要 求 客户 端 程序 对 用 户 的 输入 做 充分 的 检查 。 


a 测试 人 员 检 查 IIS 网 站 给 出 的 报表 不 会 导致 客户 端 程序 崩 演 或 其 他 严重 问题 。 这 通常 要 


求 客户 端 程序 有 足够 好 的 异常 处 理 功能 。 有 时 ， 网 站 会 给 出 错误 的 报表 或 非常 复杂 的 
报表 ， 让 客户 端 程序 不 能 完成 数据 展示 任务 。 此 时 ， 客 户 端 程序 应 该 妥当 地 结束 计算 ， 
并 向 最 终 用 户 报告 错误 。 


在 阅读 代码 的 过 程 中 , 测试 人 员 会 发 现 一 些 缺 陷 。 更 多 的 时 候 , 他 会 发 现 一 些 “ 感 觉 有 问题 ” 


的 代码 ， 


但 并 不 能 确定 它们 一 定 存在 缺陷 。 这 时 ， 他 可 以 咨询 程序 员 ， 参 考 他 们 的 解释 和 推测 ， 


但 应 该 保持 合理 的 怀疑 。 然 后 ,他 会 构造 测试 用 例 来 攻击 这 些 疑 似 有 问题 的 代码 ,让 测试 结果 来 
回答 心中 的 疑问 。 对 于 测试 人 员 而 言 ,阅读 代码 的 主要 目的 不 是 代码 审查 ( 阅读 代码 所 发 现 的 缺 
陷 是 副产品 )， 而 是 发 现 所 有 的 测试 对 象 ， 以 避免 测试 遗漏 。 在 此 基础 上 ， 分析 测试 对 象 ， 构 造 


有 针对 和 


7.1.3 


的 测试 想法 ， 提 高 测试 执行 的 效率 ， 才 是 代码 阅读 的 基本 出 发 点 。 


黑 盒 测 试 并 不 是 基于 无 知 的 测试 


测试 人 员 是 否 应 该 阅读 产品 的 源 代码 在 测试 社区 有 争议。 有 些 测试 人 员 认 为 阅读 代码 不 利于 


ASHI 


1 试 ， 其 主要 见解 有 两 点 。 


第 一 ， 阅 读 源 代码 可 能 会 误导 测试 人 员 。 当 测试 人 员 阅 读 代码 时 , 他 有 可 能 产生 “这 段 代码 
看 上 去 没 问 题 ” 或 “这 段 代码 变更 只 会 影响 模块 A” 等 看 法 。 因 为 软件 是 高 度 复 杂 的 ， 单纯 地 阅 
读 代码 不 能 准确 预测 其 运行 时 的 行为 , 所 以 测试 人 员 的 看 法 可 能 是 错误 的 。 如 果 他 根据 错误 的 想 
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法 来 实施 测试 或 认为 没有 必要 测试 ， 那 么 他 会 遗漏 一 些 原本 可 以 发 现 的 缺陷 。 


第 二 ， 阅 读 源 代 码 可 能 会 束缚 测试 人 员 的 思路 。 阅 读 源 代 码 让 测试 人 员 的 思维 方式 更 接近 程 
员 ， 从 而 丧失 了 黑 盒 测 试 的 重要 优势 : 测试 人 员 与 程序 员 的 思考 角度 不 同 , 因此 有 可 能 发 现 程 


错过 一 些 重要 的 测试 活动 和 产品 信息 ， 不 利于 提高 产品 质量 。 


我 认为 以 上 两 点 都 准确 描述 了 测试 人 员 只 依赖 源 代码 进行 测试 的 风险 。 即 便 如 此 , 阅读 源 代 
码 仍旧 是 一 项 重要 且 必 要 的 测试 活动 ， 主 要 原因 有 以 下 四 点 。 


第 一 ， 因 为 软件 是 高 度 复杂 的 ， 任 何方 法 都 不 能 获得 完整 的 产品 信息 ， 所 以 测试 人 员 应 该 多 
角度 地 研究 软件 ， 运 用 多 种 手段 去 调查 产品 的 质量 。 恰 如 科学 家 不 会 刻意 排除 某 种 研究 方法 、 侦 
探 不 会 故意 放 过 某 条 线索 ,测试 人 员 也 不 该 先入为主 地 放弃 任何 一 种 调查 方法 。 


第 二 ， 源 代码 是 软件 产品 最 重要 的 文档 ， 提 供 了 许多 无 可 替代 的 产品 信息 。 研究 源 代码 和 软 
件 架 构 能 够 帮助 测试 人 员 更 全 面 地 理解 产品 ， 从 而 设计 出 有 针对 性 的 测试 。7.1.1 广 的 案例 说 明 ， 
阅读 源 代码 有 助 于 测试 人 员 理 解 产品 ,并 独自 调查 一 些 感 兴趣 的 主题 。7.1.2 节 的 案例 表明 , 分 析 
源 代码 可 以 产生 许多 测试 想法 ， 这 些 测试 想法 针对 产品 的 实现 ， 有 很 强 的 查 错 能 力 。 


第 三 ， 研 究 产品 实现 有 助 于 避免 测试 设计 的 缺陷 。 在 紧张 的 项 目 过 程 中 , 测试 人 员 可 能 会 犯 
一 些 错 误 , 例如 测试 活动 没有 覆盖 需要 测试 的 对 象 、 测 试 方法 不 适合 产品 的 特征 、 测 试用 例 没 有 
检查 重要 的 实现 细节 等 。 因 此 , 测试 人 员 需 要 一 些 方法 来 评估 并 改善 测试 设计 。 阅 读 源 代 码 帮助 
测试 人 员 建 立 产品 的 实现 模型 ， 了 解 对 测试 设计 有 重要 影响 的 代码 细节 , 可 以 有 效 地 提高 测试 设 
计 的 质量 。 例 如 ， 在 一 轮 黑 盒 测试 后 ,测试 人 员 搜 索 代 码 ， 列 出 所 有 尚未 测试 的 入口 点 。 这 些 和 人 
口 点 说 明 先 前 的 测试 设计 存在 漏洞 ， 他 需要 补充 设计 一 批 测 试用 例 来 覆盖 它们 。 


第 四 ， 降低 代码 阅读 的 风险 并 不 困难 。 代 码 阅 读 的 典型 风险 是 误导 测试 设计 和 约束 测试 人 员 
思维 。 好 的 测试 人 员 会 培养 出 从 多 个 角度 考察 产品 、 从 多 个 信息 源 获 取信 息 的 习惯 ,自然 而 然 就 
降低 了 此 类 风险 。 此 外 ,一 个 有 帮助 的 启发 式 规 则 是 : 阅读 代码 所 获得 的 “想法 ”只 是 一 种 “ 假 
说 ”， 需 要 通过 实验 (设计 并 运行 测试 用 例 ) 来 验证 。 在 阅读 代码 时 ,测试 人 员 会 对 代码 产生 一 
些 判 断 。 他 需要 提醒 自己 ,这 些 观 点 尚未 得 到 验证 ， 应 该 设计 测试 来 检查 其 正确 性 。 这 样 就 将 代 
码 阅 读 和 测试 设计 联系 在 一 起 ， 从 而 让 它们 相互 支持 、 彼 此 促进 。 


测试 专家 CemKaner 等 指出 * 黑 盒 测试 并 不 是 基于 无 知 的 测试 ”测试 人 员 对 产品 理解 得 越 好 ， 
调查 产品 的 方式 越 多 ， 就 越 有 可 能 更 好 地 测试 Kaner01]。 阅 读 源 代码 是 一 项 重要 的 技术 调查 方 
法 ,可 以 为 测试 设计 提供 想法 和 反馈 ,与 其 他 测试 技术 一 起 运用 ,能 够 帮助 测试 人 员 更 有 效 地 完 
成 测试 任务 。 
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7.2 ”动态 分 析 


动态 分 析 是 通过 运行 软件 来 研究 产品 实现 的 活动 。 虽然 动态 分 析 只 畴 普 了 一 一 部 分 代码 执行 路 
， 它 能 详细 检查 产品 在 这 些 路 径 上 的 状态 , 对 于 理解 特定 情景 和 设计 有 事半功倍 之 效 。 本 节 将 
介绍 8 一 些 动态 分 析 技 术 在 测试 中 的 应 用 。 


7.2.1 用 工具 分 析 产 品 的 行为 


深入 的 测试 要 求 测试 人 员 透 彻 地 了 解 软件 的 动态 4 条 为 ,一 种 常见 的 策略 是 先 建立 产品 的 概念 

架构 ， 从 宏观 上 理解 其 行为 ,然后 根据 测试 任务 深入 研究 它 的 细节 ， 并 产生 一 些 测试 想法 。 在 此 

过 程 中 ， a SHTAT UERR HEAK, Ae — EMRA n ARA 
行 的 动态 分 析 任务 ， 并 介绍 相关 的 分 析 方法 和 技巧 。 


任务 1: 列 出 产品 所 加 载 的 动态 链接 库 


为 了 调用 程序 库 、 框 架 、 操 作 系 统 的 功能 ， 软 件 的 可 执行 程序 会 加 载 相应 的 动态 链接 库 。 查 
看 产品 所 加 载 的 动态 链接 库 能 了 解 产品 的 实现 技术 ， 为 深入 的 测试 提供 线索 。 


例如 ， 测 试 人 员 小 张 为 了 更 好 地 理解 必 应 词典 桌面 版 " (2.0 版 )， 使 用 Process Explorer” 来 列 
出 它 加 载 的 动态 链接 库 。 他 在 Process Explorer 中 选中 必 应 词典 的 进程 BingDict.exe， 按 下 组 合 键 
【 Ctrl+D 】 以 显示 该 进程 加 载 的 动态 链接 库 。 他 点 击 “ 路 径 ” 列 的 表 头 ， 让 动态 链接 库 列表 按照 
其 路 径 排 序 ， 获 得 如 图 7-14 所 示 的 结果 。 通 过 浏览 该 列表 ,小 张 可 以 了 解 产 品 从 哪里 加 载 动态 链 
接 库 ， 推测 它们 的 用 途 ， 并 产生 相应 的 测试 想法 。 


a 


Name Description Version Path 
tiptsf.dil Touch Keyboard and Handwriting Panel Text Ser... 6.2.9200.16433 C:\Program Files (<86)\Common Files\Microsoft SharedNnk iptsf.dl 
msado 15.dll ActiveX Data Objects 6.2.9200.16384 C:\Program Files («86)\Common Files\\System\ado\msado 15.dll 
msadrh15.dll ActiveX Data Objects Rowset Helper 6.2.9200.16384 C:\Program Files («86)\Common Files\System\ado\msadrh 15.dll 
oledb32.dil OLE DB Core Services 6.2.59200.16384 C:\Program Files («86)\Common Files\System\Ole DB\oledb32.dll 
oledb32r.dil OLE DB Core Services Resources 6.2.9200.16384 C:\Program Files (86)\Common Files\System\Ole DB\oledb32r.dil 
BingDict.exe 微软 必 应 词典 2.0.0.17017 C:\Program Files («86)\Microsoft Bing Dictionary\BingDict.exe 

DefMgr.dil C:\Program Files (<86)\Microsoft Bing Dictionary\DefMgr.dll 
mfc100u.dil MFCDLL Shared Library - Retail Version 10.0.40219.325 C:\Program Files (<86)\Microsoft Bing Dictionary\mfc100u.dil 
msvep 100.dil Microsoft® C Runtime Library 10.0.40219.325 C:\Program Files (<86)\\Microsoft Bing Dictionary\msvcp 100.dil 
msver100.dll Microsoft® C Runtime Library 10.0.40219.325 C:\Program Files (<86)\Microsoft Bing Dictionary\msver100.dil 

NewWordListv 1.6Helper.dil C:\Program Files («86)\Microsoft Bing Dictionary\NewWordListv 1.6Helper.dil 
sqiceer35EN dil Native Error Strings and Resources 3.5.8080.0 C:\Program Files &86)\Microsoft SQL Server Compact Edition\w3.5\sqiceer35... 
sqlceoledb35.dil OLEDB Provider (32-bit) 3.5.8080.0 C:\Program Files (<86)\Microsoft SQL Server Compact Edition\v3.5\sqlceoledb.. 
sqlceqp35.dll Query Processor (32-bit) 3.5.8080.0 C:\Program Files (<86)\Microsoft SQL Server Compact Edition\v3.5\sqiceqp35.. 
sqicese35.dll Storage Engine (32-bit) 3.5.8080.0 C:\Program Files (<86)\Microsoft SQL Server Compact Edition\v3.5\sqicese35.. 


图 7-14” 按 路 径 排序 的 必 应 词典 的 动态 链接 库 ( 局 部 ) 
口 BingDict.exe 从 Ink 目 录 加 载 了 tiptsf.dll。 由 动态 链接 库 的 描述 可 知 ， 它 与 触摸 键盘 和 手写 


O http://bing.msn.cn/dict/。 
@ http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx。 
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输入 有 关 。 这 提示 小 张 需 要 准备 一 台 具 备 触摸 屏 的 计算 机 ， 以 测试 必 应 词典 能 否 完善 地 
支持 触摸 输入 。 

口 BingDict.exe 加 载 7ADO、OLE DB、SQL Server Compact Edition 相 关 的 动态 链接 库 。 这 暗 
示 必 应 词典 会 访问 数据 库 。 从 软件 功能 的 角度 ， 必 应 词典 的 “生词 本 ”需要 保存 和 读 取 
大 量 数据 ， 最 有 可 能 使 用 数据 库 。 其 他 功能 只 需 存 储 少 量 数据 或 只 需 读 取 数 据 ， 都 不 需 
要 数据 库 的 支持 。 小 张 记录 他 的 发 现 和 猜测 ， 以 便 稍 后 向 程序 员 询 问 具体 实现 细节 。 

口 因为 必 应 词典 使 用 数据 库 ， 小 张 自 然 想 到 了 一 些 测 试想 法 ， 并 记录 如 下 。 在 他 了 解 更 多 
实现 细节 后 ， 他 会 设计 并 执行 更 多 的 测试 。 


m 如 果 数 据 库 文件 丢失 或 损坏 ， 产 品 能 和 否 妥善 地 处 理 ? 

a 生词 本 的 词 条 有 没有 数量 的 限制 ? 如 果 有 限制 ， 上 限 是 多 少 ? 如 果 没 有 限制 ， 大 量 的 
词 条 会 不 会 导致 产品 性 能 下 降 ? 

a 生词 本 在 记录 词 条 时 ， 对 生词 的 长 度 有 没有 限制 ? 如 果 生 词 或 词组 的 长 度 超过 了 限制 ， 
产品 能 和 否 妥善 地 处 理 ? 在 数据 库 设计 上 ， 还 有 没有 类 似 的 限制 ? 产品 又 如 何 处 理 超出 


限制 的 情况 ? 
a 内 存 紧张 、 磁 盘 耗 尽 等 情况 可 能 导致 数据 库 读 写 操作 抛 出 异常 。 产 品 能 和 否 妥 善 处 理 这 
些 异 常 ? 


口 BingDict.exe 从 必 应 词典 的 安装 目录 加 载 了 一 些 动态 链接 库 ， 其 中 包括 MFC 和 C 语 言 运行 
库 的 动态 链接 库 。 这 暗示 必 应 词典 2.0 版 用 C/C++ 编写 ， 其 用 户 界面 基于 MFC。 小 张 记录 
该 发 现 ， 以 提示 自己 在 今后 的 测试 中 关注 内 存 泄漏 、 缓 冲 区 液 出、 悬挂 指针 等 CC++ 程 序 


的 常见 问题 。 
然后 ， 小 张 点 击 “ 描 述 ” 列 的 表 头 ， 让 动态 链接 库 列 表 按 照 其 描述 排序 ， 获 得 图 7-15 所 示 的 


结果 。 按 描述 浏览 动态 链接 库 ， 有 助 于 快速 发 现 相 关 的 组 件 ， 即 便 它 们 位 于 不 同 的 目录 。 例 如 ， 
图 7-15 显 示 必 应 词典 加 载 了 正 浏览 器 的 动态 链接 库 (ieframe.dll, ieframe.dll.mui, wininet.dll , 
jscript.dll, jscript9.dll )。 对 此 ， 小 张 记 录 了 一 组 测试 想法 。 


sechost.dll Host for SCM/SDDL/LSA Lookup APIs 6.2.9200.16384 C:\Windows\SysWOW64\sechost.dll 

ieframe.dil Intemet Browser 10.0.9200.16519  C:\Windows\SysWOW64)\ieframe.dil 

ieframe.dil .mui Intemet Browser 10.0.9200.16384  C:\Windows\SysWOW64\en-US \ieframe .dl.mui 
wininet.dil Intemet Extensions for Win32 10.0.9200.16519  C:\Windows\Sys WOW 64 \wininet.dll 
IPHLPAPI.DLL IP Helper API 6.2.9200.16420 C:\Windows\SysWOW64\IPHLPAPI.DLL 
winmm.dil MCI API DLL 6.2.9200.16384 C:\Windows \Sys WOW 64\winmm.dll 

mfc100u.dil MFCDLL Shared Library - Retail Version 10.0.40219.325 C:\Program Files (x86)\Microsoft Bing Dictionary\mfc 
mshtml.dll Microsoft (R) HTML Viewer 10.0.9200.16525 = C:\Windows\SysWOW64\mshtml dil 

jscript.dll Microsoft ® JScript 5.8.9200.16519 CNWindows\SysWOW64Nscript.dl 

jjscript9.dll Microsoft ® JScript 10.0.9200.16519 C:\Windows\SysWOW64Nscript9.dil 


图 7-15” 按 描述 排序 的 必 应 词典 的 动态 链接 库 ( 局 部 ) 


口 当前 计算 机 的 操作 系统 是 Windows 8 , 必 应 词典 所 加 载 的 动态 链接 库 属 于 IE10。 在 Windows 
7 和 更 早 的 操作 系统 上 ， 必 应 词典 能 和 否 正 确 加 载 耻 ?9、IE8、IE7 等 浏览 器 的 动态 链接 库 ? 
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口 在 欧洲 销售 的 Windows 系 统 不 预 装 任何 浏览 器 。 如 果 必 应 词典 不 能 加 载 正 的 动态 连接 库 ， 
它 能 否 正确 地 向 用 户 报 告 情况 ? 

口 在 默认 情况 下 ， 显 示 网 页 的 E10 进程 的 完整 性 级 别 是 低 ， 这 有 助 于 提高 操作 系统 的 安全 
性 ， 并 保护 用 户 数据 。 然 而 ， 必 应 词典 的 进程 完整 性 是 中 ， 这 会 不 会 带 来 安全 性 风险 ? 


在 分 析 动 态 链接 库 时 ,测试 人 员 还 需要 留意 以 下 情况 。 


O 产品 所 加 载 的 动态 链接 库 可 能 被 其 他 软件 所 使 用 。 当 升级 这 些 软 件 时 ， 动 态 链接 库 可 能 
被 升级 到 更 新 的 版 本 。 如 果 新 版 本 的 动态 链接 库存 在 向 后 兼容 的 缺陷 ， 被 测 产品 可 能 
生 故 障 。 此 外 ， 钊 载 这 些 软件 可 能 删除 动态 链接 库 ， 从 而 导致 产品 不 能 正常 工作 。 测 试 

员 需 要 找到 并 记录 这 批 动态 链接 库 。 它 们 通常 位 于 Windows 目 录 下 , 其 发 布 者 不 是 微软 
公司 。 根 据 这 些 动态 链接 库 ， 测 试 人 员 可 以 定位 影响 它们 的 软件 ， 然 后 拟定 一 份 兼 容 性 
测试 计划 。 该 测试 会 检查 产品 与 这 些 软件 的 主流 版 本 可 以 在 一 台 计 算 机 上 共存 ， 并 且 它 
们 的 安装 和 印 载 不 会 破坏 彼此 的 功能 。 

口 产品 会 在 执行 过 程 中 动态 地 加 载 或 卸载 动态 链接 库 。 测 试 人 员 可 以 用 Windbg 等 工具 监视 
产品 的 运行 ， 了 解 它 在 启动 之 后 又 加 载 了 哪些 动态 链接 库 。 此 外 ， 在 执行 了 一 个 重要 的 
操作 之 后 , 测试 人 员 可 以 用 Process Explorer 观 察 产品 的 动态 链接 库 列 表 ,， 发现 新 增 的 动态 
链接 库 。 这 些 链 接 库 通 常 与 之 前 的 操作 紧密 相关 ， 是 测试 该 操作 需要 考虑 的 因素 。 


任务 2: 列 出 产品 打开 的 文件 


为 了 实施 文件 漫游 (5.4.1 节 )、 基 于 文件 的 攻击 (5.5.3 节 ) 和 了 解 产品 的 行为 ， 测 试 人 员 需 
要 分 析 产 品 会 使 用 哪些 文件 。 


例如 ,测试 人 员 小 张 使 用 Process Explorer 来 分 析 必 应 词典 桌面 版 所 打开 的 文件 。 他 在 Process 
Explorer 中 选择 进程 BingDict.exe， 按 下 组 合 键 【 CtrlHH 】 以 显示 该 进程 打开 的 句柄 。 他 浏览 如 图 
7-16 所 示 的 文件 句柄 ， 获 得 了 一 些 测试 想法 。 


File C:\Program Files (x86)\Microsoft Bing Dictionary 

File C:\Program Files {x86)\Microsoft Bing Dictionary\data\CN\CHS dat 

File C:\Program Files (x86)\Microsoft Bing Dictionary\data\EN\ENG dat 

File C:\Users\Liang App Data \Local\Microsoft \Windows\ Temporary Intemet Files \Content.IE5\4K2FYSFl\ad_bdc[1] htm 

File C:\Users \Liang \App Data \Local'\Microsoft \\Windows\\ Temporary Intemet Files \Content.IE5\4K2FYSFI\clienthomepage[1] htm 
File C:\Users\Liang App Data \Local\Microsoft \Windows\ Temporary Intemet Files\Content.IE5\4K2FYSFl\ehclinknew[1].htm 

File C:\Users \Liang \App Data \Local'\Microsoft \Windows\ Temporary Intemet Files \Content.IE5\SAYZ12YC\clientsearch[4] htm 
File C:\Users \Liang \App Data \Local\Microsoft'\Windows\\ Temporary Intemet Files\counters.dat 


图 7-16” 必 应 词典 的 文件 句柄 (局 部 ) 


口 BingDict.exe 打 开 了 CHS.dat 和 ENG.dat。 从 文件 名 和 文件 路 径 推 测 ， 它 们 是 中 文 词汇 和 数 
英文 词汇 的 数据 文件 。 小 张 记录 该 发 现 和 推测 ， 以 便 稍 后 向 程序 员 询 问 。 此 外 ， 他 还 记 
录 一 些 测试 想法 ， 如 果 数 据 文件 损坏 ， 必 应 词典 如 何 处 理 ? 如 果 数 据 文件 丢失 ， 必 应 词 
典 如 何 处 理 ? 安装 程序 的 “修复 ”功能 能 和 否 恢复 被 损坏 或 被 删除 的 数据 文件 ? 
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口 BingDict.exe 打 开 了 IE 临 时 目录 中 的 一 些 网 页 。 之 前 的 分 析 显 示 ， 必 应 词典 加 载 正 的 动态 
链接 库 , 所 以 小 张 推 测 必 应 词典 会 调用 IE 来 显示 这 些 网 页 。 于 是 , 他 用 IE 来 打开 这 些 文件 ， 
实验 结果 表明 clienthomepage[1].htm 就 是 必 应 词典 的 默认 主页 (参见 图 7-17 )。 这 提示 小 张 
可 以 考虑 针对 网 页 的 测试 : 如 果 必 应 词典 收 到 错误 的 、 其 至 恶意 的 网 页 ， 最 严重 的 后 果 
是 什么 ”如 果 必 应 词典 迟 迟 不 能 收 到 网 页 ， 会 发 生 什 么 ?会 不 会 出 现 只 有 一 部 分 网 页 被 
显示 的 情况 ? 


几 微软 必 应 词典 


每 日 词汇 必 应 Bing 英语 


apricot Zuckerberg Announces Immigration 


Reform Group in Op-Ed 
Facebook CEO Mark Zuckerberg waded further 
{ into the world of politics on Thursday with a 
g 
\ 


US: [zpri kat] 4) 
UK: [ erpri kot] 
Washington Post op-ed... 
Mashable 
文章 难度 : tkt 
重点 单词 : 
wade [werd] 跋涉 , E 


luminary [lumi neri] 杰出 人 物 ; 名 人 
philanthropy [fi laen9rapi] #5; 善心 


一 ma 一 划 译 


图 7-17 FEI aka NAK A clienthomepage[1].htm 
任务 3: 分 析 程 序 之 间 的 协作 关系 
一 些 软件 系统 包含 多 个 程序 , 它们 相互 协作 来 完成 任务 。 为 了 更 好 地 理解 系统 ,测试 人 员 需 
要 了 解 组 成 系统 的 程序 ， 并 分 析 它 们 之 间 的 关系 。 


例如 ,测试 人 员 小 张 点 击 必 应 词典 桌面 版 的 “ 取 词 ”( 该 命令 位 于 图 7-17 的 右 下 角 )， 以 启动 
屏幕 取 词 功能 。 随 后 ， 他 在 Process Explorer 中 发 现 ， 进 程 BRingDict.exe 启 动 了 子 进程 WordCapture. 
exe, 后 者 义 启动 了 进程 FuncServer WDC x64.exe( 参见 图 7-18 ), 从 进程 的 名 字 推 测 , WordCapture. 
exe 负 责 取 词 功 能 ，FuncServer WDC x64.exe 处 理 64 位 进程 的 取 词 。 


日 § BingDict.exe “C:\Program Files (x86)\Microsoft Bing Dictionary\BingDict.exe" 
©) [m WordCapture exe “C:\Program Files (<86)\Microsoft Bing Dictionary\WordCapture.exe" {7A689DA4-209E-4A6D-8530-A9DA05B 1C05A} 
m '|FuncServer_WDC_x6...|"C:\Program Files (86)\Microsoft Bing Dictionary\WordCaptureX\FuncServer_WDC_x64.exe" 


图 7-18” 必 应 词典 为 “ 取 词 ”启动 子 进程 


然后 , 小 张 再 次 点 击 “ 取 词 ”, 以 关闭 屏幕 取 词 功能 。 他 用 Process Explorer 发 现 , 进程 BingDict. 
exe 关 闭 了 进程 WordCapture.exe 和 FuncServer WDC x64.exe。 为 了 了 解 更 多 的 信息 ， 小 张 启动 
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7.2 动态 分 析 


Process Monitor”, 接着 再 次 执行 启动 屏幕 取 词 和 关闭 屏幕 取 词 的 操作 。 之 后 , 他 在 Process Monitor 
中 按 下 组 合 键 【 CtrlHT ]， 以 显示 进程 树 对 话 框 。 图 7-19 是 该 对 话 框 的 局 部 ， 显 示 了 BingDict.exe 
及 其 子 进 程 的 生命 周期 。 该 图 显示 了 这 些 进 程 的 开始 时 间 和 结束 时 间 ， 确 认 了 之 前 的 分 析 ， 即 
BingDict.exe 在 启动 屏幕 取 词 时 创建 子 进程 ， 在 关闭 屏幕 取 词 时 结束 子 进程 。 


日 § BingDict.exe (10760) 微软 必 应 词典 4/7/2013 2:07:05 PM n/a 
日 & WordCapture.exe (9244) E WordCapture 4/7/2013 2:09:41 PM 4/7/2013 2:10:10 PM 
#2 FuncServer_WDC_x64.exe (5224) | 4/7/2013 2:09:45 PM 4/7/2013 2:10:10 PM 


图 7-19 Process Monitor 显 示 了 进程 的 生命 周 基 
基于 以 上 分 析 ， 小 张 记录 了 一 组 继续 调查 的 想法 。 


口 向 程序 员 了 解 BingDict.exe 、WordCapture.exe 和 FuncServer WDC x64.exe 的 通信 方法 。 
口 分 析 WordCapture.exe 和 FuncServer WDC x64.exe 加 载 的 动态 链接 库 。 
口 分 析 WordCapture.exe 和 FuncServer WDC x64.exe 打 开 的 文件 句柄 。 
口 测试 对 64 位 进程 和 32 位 进程 的 取 词 。 
口 如 果 WordCapture.exe 表 省，BingDict.exe 会 如 何 处 理 ? 会 重启 该 进程 吗 ? 
口 如 果 FuncServer WDC x64.exe 骨 溃 ，WordCapture.exe 会 如 何 处 理 ?” 会 重启 该 进程 吗 ? 
口 如 果 WordCapture.exe 陶 入 死 循 环 ，BingDict.exe 能 感知 该 情况 ， 并 作出 合理 反应 吗 ? 
口 如 果 FuncServer WDC x64.exe 陶 入 死 循环 ，WordCapture.exe 能 感知 该 情况 ， 并 作出 合 玉 
反应 吗 ? 
口 与 “ 取 词 ”并 列 的 “ 划 译 ”功能 会 让 BingDict.exe 启 动 子 进程 吗 ? 
口 必 应 词典 的 安装 目录 下 还 有 没有 其 他 可 执行 程序 ? 

任务 4: 分 析 客 户 端 与 服务 器 之 间 的 通信 

目前 , 许多 应 用 需要 访问 互联 网 资源 , 需要 与 服务 器 上 的 网 络 服务 通信 。 这 些 客户 端 应 用 可 
能 是 网 络 浏 览 右 中 的 HTML/JavaScript 程 序 ， 也 可 能 是 独立 运行 的 软件 。 了 解 它们 与 网 络 服务 的 
通信 ， 将 帮助 测试 人 员 理 解 它们 的 运行 机 制 ， 并 从 网 络 通信 的 角度 产生 一 些 测试 想法 。 

例如 ， 测 试 人 员 小 张 使 用 Web 调 试 代理 Fiddler? 分 析 必 应 词典 桌面 版 (2.0 版 ) 与 服务 器 的 通 
信 。 他 在 必 应 词典 的 查询 框 中 输入 单词 “rainbow”， 并 按 下 回 车 键 。Fiddler 捕 获 了 必 应 词典 的 请 
求 和 服务 器 的 响应 ， 其 结果 如 图 7-20 所 示 。 小 张 发 现 第 一 条 会 话 的 数据 流量 较 大 的 ， 于 是 选中 该 
会 话 ， 获 得 如 图 7-21 所 示 的 请 求 和 响应 的 细节 。 


# Result Protocol Host URL Body Caching Content-Type Process 
1 200 HTTP cn.bing.com /di aie Enem Sen TEENA pki Sie es rail pied 11,908 private text/html; c... bi E ict: 10760 
Æ 20 i2 no-cache age/aif 

i4 204 HTTP www.bing.com /di ihe aspx?T ype =Event.ClientInst 0 private bi Ea 10760 


图 7-20 Fiddler ZRK V m A 


O http://technet.microsoft.com/es-ar/sysinternals/bb896645 - 
© http://www.fiddler2.com, 
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® Statistics I Inspectors | Æ AutoResponder Ei Composer | [C] Filters | E Log | = Timeline 
Headers | TextView || WebForms | HexView | Auth Cookies | Raw JSON XML 


rainbow 


Get SyntaxView | Transformer | Headers | TextView | ImageView | HexView WebView | Auth | 
Caching | Cookies | Raw | JSON | XML 
Document is: 83669 bytes. 


rainbow 同义词 ^ 
S: [rern bou] UK: [rern bau] 
虹 
(2B) 美妙 的 梦想 


五 彩 药片 [药丸 ] 【一 种 巴 比 受 类 安眠 药 ] 
(=rainbow pill) 


multicoloured 
multicolored 
colourful 
colorful 


variegated 


kaleidoscopic 


Al7-21 Fiddler 显 示 的 请 求 和 响应 
通过 分 析 图 7-21， 小 张 了 解 了 必 应 词典 与 服务 器 通信 的 协议 ， 并 获得 了 一 些 测试 想法 。 


口 必 应 词典 向 服务 器 ( cn.bing.com/dict/ ) 提交 一 个 Web 表 单 ， 该 表单 包含 用 户 查 询 的 单词 
“Tainbow”。 服 务 器 的 响应 是 一 个 HTML 页 面 ， 该 页 面 是 对 “rainbow” 的 解释 。 由 先前 的 
分 析 可 知 ， 必 应 词典 会 调用 下 的 动态 链接 库 来 显示 该 页 面 。 

口 在 实现 技术 上 ， 必 应 词典 2.0 版 与 1.7 版 有 显著 区 别 。 图 7-22 展 示 了 1.7 版 的 请 求 和 响应 ， 其 
中 所 查询 的 单词 是 software。1.7 版 发 送 的 请 求 是 一 个 基于 XML 文 档 的 SOAP 消 息 ， 包 含 被 
查询 的 单词 。1.7 版 接收 的 响应 也 是 一 个 SOAP 消 息 , 包含 对 单词 的 解释 。 aici sag 要 解 
析 该 XML 文档 ,并 利用 Windows Form 技 术 来 显示 单词 解释 。2.0 版 在 提交 请 求 时 用 表单 取 
代 了 SOAP 消 息 , 在 处 理 响 应 时 用 IE 和 HTML 取 代 了 Windows Form 和 XML， 从 而 显著 地 提 
高 了 软件 的 性 能 。 

口 实现 技术 的 变化 暗示 项 目 团队 希望 必 应 词典 有 更 好 的 性 能 ， 因 此 需要 执行 性 能 测试 来 检 
验 新 设计 是 否 提 高 了 性 能 。 重 点 测试 内 容 是 单词 查询 的 速度 ， 以 及 必 应 词典 对 计算 机 资 
源 的 占用 。 

口 从 测试 服务 器 的 角度 ， 如 果 必 应 词典 发 送 的 请 求 是 错误 的 ， 服 务 器 会 作 何 响应 ? 


如 果 请 求 缺 少 一 些 必要 的 参数 ， 服 务 器 会 如 何 响应 ? 

n 如 果 请 求 包含 额外 的 参数 ， 服 务 器 会 如 何 响应 ? 

和 如 果 请 求 提交 的 参数 值 包 含 错 误 ( 如 空 值 、 很 长 的 字符 串 、 非 法 字符 等 )， 服 务 器 会 如 
何 响应 ? 
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的 Statistics A Inspectors | Æ AutoResponder | 2 Composer | 口 Fiters | El tog | = Tmeine| 
Headers |[Textview | WebForms | HexView | Auth | Cookies | Raw | JSON | xm | 


<?xml version="1.0" encoding="utf-8" ?><soap:Envelope 
ixmlns: soap="http://schemas. xmlsoap. org/soap/envelope/" xmlns:xsi=“http:// ww. w3. org/2001/RMLSchema- 
instance” xmlns:xsd=“http://wow. w3. org/2001/XMLSchema“ ><soap: Body><GetEditModeResult 
ixmlns=“http://tempuri. org/”><_App>056F67CB8 1834 1149542777CFB9D3D87</_App><marketLang>zh-cn 
</marketLang><t argetLang>en-us</t argetLang><query>Bipquebas</ query><defCount >5</defCount > 


</GetEditModeResult ></soap:Body></soap:Envelope> 
[aa [373 $ eom 


Get SyntaxView | Transformer | Headers | TextView | ImageView | HexView | WebView | Auth Caching | Cookies | Raw 
sson |[xm | 


E- s:Envelope [ xmlins:s=http://schemas.xmlsoap.org/soap/envelope/ ] 
E- s:Body 
©- GetEditModeResultResponse [ xmIns=http://tempuri.org/ ] 
=) GetEditModeResultResult [ xmIns:a=http://schemas.datacontract.org/2004/07/Lingo.Service.Response xmins 
6- a:LEX 
日 a:C_DEF 
=) a:SENS 
<a:DEF i:nil="true" xmins:i="http://www.w3.org/2001/XMLSchema-instance" xmins:a="http://s 
B- a:POS 
na 
-a:SEN 
=) a:SEN 
= a:D 
(电脑 的 ) 软 件 , 软 设备 ;程序 设备 ;语言 设备 ;程度 系统 ;设计 电脑 方法 ;计算 程序 . 
R 


Ba: 
0 

<a:STS i:nil="true" xmins:i="http://www.w3.org/2001/XMLSchema-instance" xmins:a=" 

<a:URL i:nil="true" xmins:i="http://www.w3.org/2001/XMLSchema-instance" xmins:a="1 


=) a:SENS | 
» 


图 7-22” 必 应 词典 (1.7 版 ) 的 请 求 和 响应 
口 从 测试 必 应 词典 的 角度 ， 如 果 服 务 需 返回 的 响应 是 错误 的 ， 必 应 词典 会 作 何 处 理 ? 


如 果 服 务 器 不 返回 响应 ， 必 应 词典 的 请 求 超时 是 多 长 ? 超时 后 ， 必 应 词典 如 何 向 用 户 
报告 错误 ? 

e 如 果 返 回 的 响应 不 是 合法 的 HTML 页 面 ， 必 应 词典 如 何 处 理 ? 

m 必 应 词 则 调用 IE 来 显示 HTML 页 面 。 能 和 否 构造 一 个 HTML 页面， 使 得 显示 结果 或 显示 过 
程 出 错 ? 

e 如 果 黑 客 动 持 了 响应 ， 它 能 否 利用 跨 站 点 脚本 攻击 等 手段 来 攻击 用 户 ? 必 应 词典 有 没 
有 对 返回 的 HTML 页 面 进行 必要 的 安全 性 检查 ? 


任务 5: 分 析 产 品 的 性 能 


在 测试 过 程 中 , 测试 人 员 需 要 留意 产品 的 性 能 问题 。 一 旦 发 现 茶 个 操作 会 导致 软件 反应 缓慢 
或 失去 响应 ， 他 就 应 该 对 该 操作 进行 性 能 分 析 。 所 获得 的 信息 不 但 有 利于 策划 完整 的 性 能 测试 ， 
也 有 助 于 及 时 解决 性 能 问题 。 在 许多 时 候 ， 用 户 觉得 产品 “很 慢 "， 并 不 是 因为 软件 的 所 有 操作 
都 很 迟钝 ， 而 是 一 些 关 键 操作 反应 缓慢 。 尽 早 地 发 现 主流 场景 中 的 缓慢 操作 ， 有 利于 项 目 畴 队 制 
定 修复 计划 , 调整 软件 设计 来 优化 性 能 。 如 果 性 能 问题 在 项 目 后 期 才 报 告 , 那么 项 目 团队 很 可 能 
没有 足够 的 时 间 来 实现 性 能 优化 。 


分 析 性 能 的 工具 很 多 ,测试 人 员 应 该 根据 测试 对 象 、 测 试 任务 、 期 望 获得 的 信息 ， 来 选择 
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合适 的 测试 工具 。 在 Windows 平 台 上 ，Windows Performance Monitor”, Windows Resource 
Monitor”, Windows Performance Toolkit3 是 常用 的 性 能 分 析 工 具 。 在 日 常 测 试 活动 中 , 测试 人 员 
可 以 利用 一 些 轻 量 级 的 工具 ， 做 快速 的 性 能 分 析 。 例 如 ， 我 最 常用 的 性 能 分 析 工 具 是 跑 表 和 


Process Explorer。 


在 测试 过 程 中 ， 如 果 我 发 现 一 个 操作 较 慢 ,我 会 拿 出 跑 表 对 其 计时 。 跑 表 简单 易 用 ,能 够 快 
速记 录 一 个 操作 的 用 时 。 虽然 它 不 适合 度量 快速 的 软件 运算 , 但 是 对 于 绝 大 多 数 用 户 可 感知 的 延 
迟 ， 它 能 够 提供 足够 精确 的 计时 结果 。 倘 大 我 认为 该 操作 的 迟缓 是 一 个 性 能 问题 ， 我 会 执行 操作 
若干 次 ， 将 平均 用 时 写 和 人 缺陷 报告 。 对 于 缺陷 报告 而 言 , “执行 该 操作 5 次 ， 平 均 用 时 15.5 秒 ， 最 
长 用 时 17.2 秒 ” 比 “ 改 操作 反应 迟钝 ， 用 时 超过 10 秒 ”是 更 好 的 问题 描述 。 


除了 计时 ,我 还 会 用 Process Explorer 监 视 进 程 的 性 能 。 在 Process Explorer 中 ， 双 击 一 个 进程 ， 
就 可 以 打开 它 的 属性 对 话 框 。 选 中 属性 对 话 框 的 性 能 图 标签 页 , 就 可 以 显示 该 进程 的 CPU 、 内 存 、 
IO ( 输入 与 输出 ) 的 性 能 数据 。 我 使 用 Microsoft Word 编 写本 书 的 文稿 , 图 7-23 是 Process Explorer 
记录 的 Word 保 存 本 书 文档 的 性 能 图 。 分 析 该 图 ， 我 可 以 得 到 一 些 性 能 相关 的 事实 和 推测 。 


口 在 文档 保存 过 程 中 ，Word 的 CPU 使 用 率 的 峰值 是 25%。 峰 值 区 域 大 致 可 以 分 成 三 段 ， 其 

中 第 二 段 的 内 核 用 时 特别 高 ， 说 明 操作 系统 在 这 段 时 间 很 忙碌 。 

口 测试 计算 机 的 CPU 有 4 个 内 核 ，25% 的 CPU 使 用 率 暗示 文档 保存 操作 完全 占据 了 1 个 内 核 。 
因为 Word 使 用 UI 线程 保存 文档 ， 所 以 UI 线程 在 这 段 时 间 忙 于 保存 操作 ， 不 能 响应 用 户 输 
和 人 入。 对 于 用 户 而 言 ，Word 似 乎 失去 了 响应 ， 陷 于 “假死 ”状态 。 如 果 该 状态 持续 几 秒 的 
时 间 ， 用 户 就 会 感到 烦躁 和 不 安 。 

O 在 文档 保存 过 程 中 ，Word 的 内 存 占 用 有 一 定 的 提升 ， 说 明 保存 文档 需要 额外 的 内 存 来 完 
成 任务 。 文 档 保存 结束 后 ，Word 会 释放 内 存 ， 但 是 内 存 占用 量 并 没有 回 到 保存 之 前 的 水 
平 。 通 常 ， 这 是 因为 程序 使 用 了 缓存 技术 ， 一 些 被 缓存 的 内 存 并 不 会 被 立即 释放 。 不 过 ， 
这 也 提示 我 检查 多 次 保存 文件 是 否 会 持续 提高 内 存 占 用 量 ， 以 致 于 影响 到 Word 和 计算 机 
的 性 能 。 

口 在 保存 过 程 中 ，IO 有 很 大 的 波动 ， 其 峰值 出 现在 CPU 峰值 的 第 三 段 。 这 暗示 CPU 峰值 的 

前 两 段 是 在 准备 输出 ， 第 三 段 才 是 真正 地 将 数据 写 人 硬盘 。 当 CPU 峰值 结束 后 ，LILO 仍 有 

几 次 较 大 的 波动 。 这 暗示 Word 调 用 了 Windows 的 异步 输出 命令 , 用 较 低 的 CPU 使 用 率 完成 

了 余下 的 输出 任务 。 


在 提交 性 能 缺陷 时 ,我 会 考虑 附 上 类 似 图 7-23 的 性 能 图 。 这 有 助 于 更 直观 地 描述 软件 的 性 
表现 ， 帮 助 程序 员 诊断 性 能 问题 。 


mb 
EC 


© http://technet.microsoft.com/en-us/library/cc749249.aspx 
© http://msdn.microsoft.com/en-us/library/windows/desktop/aa372266(v=vs.85).aspX o 
@® http://msdn.microsoft.com/en-us/library/windows/desktop/hh162945.aspx. 
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7.2 动态 分 析 


TCP/IP | Security | Environment | Strings 
Image | Performance | Performance Graph | GpUGraph | Threads | 


CPU Usage 


0.16% 
Private Bytes 


192.3 MB 
lo 


图 7-23 “Word 保存 文档 的 性 能 


动态 分 析 产 品 的 方法 和 工具 是 多 种 多 样 的 。 本 节 仅 讨论 了 少数 几 种 实践 方法 , 更 多 的 分 析 技 
术 和 工具 有 竺 测试 人 员 在 具体 的 测试 活动 中 探索 。 由 本 节 的 讨论 不 难看 出 , 合理 地 使 用 工具 , 可 
以 快速 地 了 解 产品 的 设计 ， 提 高 与 程序 员 交 流 的 效率 ， 并 实施 更 有 效 地 测试 。 


7.2.2 在 调试 器 中 观察 软件 行为 


7.1 节 讨论 了 在 不 运行 软件 的 情况 下 通过 分 析 源 代码 来 理解 软件 设计 ，7.2.1 节 介绍 了 在 不 参 
考 源 代 码 的 情况 下 通过 工具 来 了 解 软件 实现 。 本 节 讨 论 一 种 同时 运用 源 代 码 和 工具 来 分 析 软 件 的 
方法 一 一 使 用 调试 器 观察 软件 行为 。 


软件 实现 往往 是 复杂 的 ,静态 地 阅读 代码 有 时 不 能 完全 掌握 软件 的 动态 行为 。 利 用 调试 器 监 
控 软 件 的 运行 ,将 实际 执行 的 控制 流 、 数 据 流 和 源 代 码 结合 起 来 ， 能 够 更 快 地 理解 设计 ， 有 事 半 
功 倍 之 效 。 对 于 难以 理解 的 代码 ,测试 人 员 可 以 用 调试 器 设置 断 点 ， 在 程序 执行 命中 断 点 后 , 用 
单 步 执行 的 方式 来 观察 执行 语句 序列 和 变量 取 值 的 变化 。 这 样 能 获得 设计 的 细节 信息 , 为 进一步 
的 探索 和 测试 提供 信息 。 
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第 7 章 ”研究 产品 


例如 ,测试 人 员 小 张 为 了 深入 了 解 NUnit 的 约束 ,决定 调试 单元 测试 用 例 AllItemsAreNotNull。 
他 使 用 Visual Studio 2012 在 单元 测试 的 第 一 条 语句 设置 断 点 ， 然 后 运行 测试 ， 详 细 情 况 请 参考 图 
7-24。 随 后 ， 他 单 步 执行 程序 ， 重 点 关注 表达 式 Is.Not.NulL1、 构 造 国 数 ALlLItemsConstranit 和 断 
言 图 数 Assert .That 的 实现 。 


og nunit2012 (Debugging) - Microsoft Visual Studio Quick Launch (Ctrl+Q) p =-=- O x 
FILE EDIT VIEW PROJECT BUILD DEBUG TEAM SQL TOOLS TEST ARCHITECTURE .NETREFLECTOR ANALYZE WINDOW HELP 

fal ld - ~ P Continue - Debug A- e 36GG 4. a 
g o = x Es + InteliTrace -px 
a # NUnit. FENO CONTATE + ® AllitemsAreNotNull0 - BE e ra) 
a 5 jnamespace -NUnit.Framework.Constraints + 
a 2 Ey Streaming Video: Collecting and analyzing data in product ~ 

Ee Cae All Categories ~ All Threads 

TestFixture 
public-class-AllItemsTests- : -MessageChecker e» Search 
í * © Debugger: Beginning of Application: Main a 
public-void-AllItemsAreNotNull() £ ServiceModel: Service Host Starting 


回 Exception: Thrown: "This element is not currently asso 
名 jc c=new object[] (5 enag 3, Environment.OSVersion-};] 5 = 
t. That(c, -new-AllitemsConstraint(-Is.Not.Null-)); : E Exception: Caught: "This element is not currently asso 
} “© Exception: Thrown: "This element is not currently asso 
a is Thi = 
[Tes dy 回 Exception: Caught: "This element is not currently asso 
38 日 public-v void ER ET ~ © Exception: Thrown: "Could not load file or assembly 'N 
100% ~ 4 > 回 Exception: Caught: "Could not load file or assembly 'N 
Watch 1 Call Stack ~ HX O Exception: Thrown: "Could not load file or assembly 小 
Name Value Type Name Lanc M Exception: Caught: "Could not load file or assembly 'N 
E fg Assert NUnit.Framework.Assert NUnit.Fr © nunit.framework.tests.DLLINUnit.Framework.Constraints.All C# {il Exceptions Throwns "Could not load file orassembly 
[Native to Managed Transition] - - : 
[Managed to Native Transition] E Exception: Caught: "Could not load file or assembly 'N 
nunit.core.dill NUnit.Co ct.InvokeMethod (System.Ref 回 Exception: Thrown: "Could not load file or assembly '\ 
hunit-core.diiNUnit.Co ( 回 Exception: Caught: "Could not load file or assembly 'N 
nunit.core.dllINUnit.Co: 
nunit.core.dil!NUnit.Co: 0 回 Exception: Thrown: "Could not load file or assembly 'S 
nunit.core.dIl!NUnit.Core, NUnitTestMethod.RunTest() + Oxz O Exception: Thrown: "Could not load file or assembly '\ 
nunit.core.dll!NUnit.Core. TestMethod.RunRepeatedTest( )+ 回 Exception: Caught: "Could not load file or assembly 'N 
nunit.core.dll!NUnit,Core,T: Aethod,RunTestinContext() + ~ 
nunit.core.dil!NUnit.Core.T od.Run(NUnit.Core.Even E Exception: Thrown: “Could not load file or assembly '\ 
nunit.core.dll!NUnit.Core.T: uite.RunAllTests(NUnit.Core. © Exception: Caught: "Could not load file or assembly 'N 
INL Core. Tes e.RunSuite( Core.Ev: 
nunit.core.dll!NUnit. Core. TestSuite.RunSuite(NUnit.Core. Ba) i) Exceptions Tiren "Coid not load fe oresembiy"h 
Find Results 1 Undo Close | Locals Watch 1 Call Stack Immediate Window Se ee 


图 7-24 ”使 用 Visual Studio 调 试 NUnit 代 码 


在 单 步 执行 Is.Not.Nul1 的 过 程 中 ， 小 张 阅读 了 属性 Not 、 属 性 Nul1 的 实现 代码 ， 详 情 参 见 
图 7-25。 由 这 些 代码 , 他 了 解 到 Is.Not.Nul1 会 返回 一 个 约束 表达 式 对 象 , 该 对 象 包含 NotOperator 
和 Nul110perator。 


在 单 步 执行 构造 函数 AllItemsConstraint 的 过 程 中 ， 小 张 阅读 了 AllItemsConstraint 的 父 类 
ee a ee 详情 参见 图 7-26。 这 
些 代 码 说 明 AL1ItemsConstraint 通 过 调用 函数 Resolve 将 约束 表达 式 对 象 (Is.Not.Nul1 的 返回 值 ) 
转化 为 约束 对 象 。Resolve 的 实现 利用 操作 符 栈 来 归并 生成 约束 对 象 。 该 设计 类 似 于 惰性 初始 化 ， 
即 构造 约束 表达 式 Is.Not.Null 时 并 不 生成 约束 对 象 ， 直 到 构造 具体 的 约束 对 象 时 ， 才 转换 表 
达 式 。 
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7.2 动态 分 析 


/// <summary> 
/// Returns a ConstraintExpression that negates any 
/// following constraint. 
/// </summary> 
public ConstraintExpression Not 
{ 
get { return this.Append(new NotOperator()); } 


} 


/// <summary> 
/// Returns a constraint that tests for null 
/// </summary> 
public NullConstraint Null 
{ 
get { return (NullConstraint)this.Append(new NullConstraint()); } 


} 


/// <summary> 
/// Appends an operator to the expression and returns the 
/// resulting expression itself. 
/// </summary> 
public ConstraintExpression Append(ConstraintOperator op) 
{ 

builder. Append(op) ; 

return (ConstraintExpression) this; 


图 7-25 Is.Not.Nul1 的 实现 代码 (摘录 ) 


public class AllItemsConstraint : PrefixConstraint 


{ 
public AllItemsConstraint(Constraint itemConstraint) 
: base( itemConstraint ) 


this.DisplayName = "all"; 


protected PrefixConstraint(IResolveConstraint resolvable) : base(resolvable) 


{ 


if ( resolvable != null ) 
this.baseConstraint = resolvable.Resolve(); 


public Constraint Resolve() 


{ 
if (!IsResolvable) 


throw new InvalidOperationException("A partial expression may not be resolved"); 


while (!ops.Empty) 
{ 


ConstraintOperator op = ops.Pop(); 
op.Reduce(constraints) ; 


return constraints.Pop(); 


图 7-26 ”AllItemsConstraint 的 构造 函数 调用 ConstraintExpress.Resolve 来 获得 Constraint 对 象 


* 239 > 


TEE HT Assert. Thatki EF, JMKE T pk AWThat AIALLItemsConstraint.MatchesHJS& 
MRE, CEB ULA7-27. WA PeiBAssert. That iA) FAAL1ItemsConstraint. Matches KIR AAEA 
的 可 迭代 对 象 (在 当前 执行 的 单元 测试 中 该 对 象 是 一 个 数组 )， 而 AllItemsConstraint.Matches 会 
使 用 约束 (Is.Not.Null ) 来 检查 可 迭代 对 象 所 以 返回 的 每 一 个 元 素 。 


static public void That(object actual, IResolveConstraint expression, string message, params object[] args) 
Constraint constraint = expression.Resolve(); 


Assert. IncrementAssertCount(); 

if (!constraint.Matches(actual)) 
Messageliriter writer = new TextMessageWriter(message, args); 
constraint.WriteMessageTo(writer) ; 
throw new AssertionException(writer.ToString()); 


} 
} 


public override bool Matches(object actual) 


{ 


this.actual = actual; 


if ( !(actual is IEnumerable) ) 
throw new ArgumentException( "The actual value must be an IEnumerable", “actual” ); 


foreach(object item in (IEnumerable)actual) 
if (!baseConstraint.Matches (item) ) 
return false; 


return true; 


} 


图 7-27 ”断言 函数 Assert.That 的 实现 


经 过 以 上 调试 步 又, 小 张 了 7 解 了 约束 和 断言 函数 的 实现 技术 。 虽然 他 没有 检查 所 有 的 约束 和 
断言 代码 , 但 是 他 根据 这 个 实例 能 够 体会 整体 的 设计 方案 和 具体 的 设计 模式 。 这 些 知识 能 帮助 他 
举一反三 地 理解 相关 代码 ， 提 高 未 来 的 静态 分 析 和 动态 分 析 的 效率 。 


通过 调试 来 理解 代码 之 所 以 高 效 的 一 个 原因 是 ， 调 试 过 程 使 代码 分 析 处 于 一 个 具体 的 语 境 
中 。 在 调试 中 , 测试 人 员 明 确 地 知晓 代码 的 输入 值 、 程 序 的 状态 和 期 望 完成 的 任务 。 这 使 得 分 析 
过 程 目标 清晰 、 语 义 明确 、 易 于 操控 。 此 外 ,调试 让 处 于 不 同 目录 和 文件 的 代码 按 代码 执行 顺序 
出 现在 测试 人 员 眼 前 ， 这 帮助 他 在 更 大 的 范围 内 审阅 代码 ， 建 立 对 设计 的 整体 印象 。 


在 产品 研究 过 程 中 , 静态 分 析 和 动态 分 析 需 要 相互 支持 。 以 下 三 项 活动 通常 是 迭代 进行 的 , 并 
没有 固定 的 执行 顺序 。 一 项 活动 所 获得 的 信息 会 指引 男 一 项 活动 进行 更 深入 或 更 宽泛 的 调查 研究 。 


O 静态 地 分 析 源 代码 ， 以 理解 产品 设计 ， 并 产生 测试 想法 和 调查 目标 。 
O 使 用 工具 分 析 产 品 的 行为 ， 以 研究 产品 的 动态 行为 ， 并 产生 测试 想法 和 调查 目标 。 
O 使 用 调试 器 等 工具 动态 地 分 析 源 代码 ， 以 理解 产品 设计 ， 并 产生 测试 想法 和 调查 目标 。 


调试 器 的 另 一 个 常见 用 途 是 分 析 测试 执行 是 否 覆 盖 特 定 的 代码 。 例 如 , 测试 人 员 需 要 测试 一 
个 产品 补丁 。 为 了 检查 他 的 测试 用 例 可 以 覆盖 到 变更 的 代码 , 他 在 调试 器 中 启动 产品 ,在 修改 处 
设置 断 点 。 如 果断 点 被 命中 ,他 知道 测试 用 例 覆 盖 了 代码 变更 。 如 果断 点 没有 被 命中 ,他 知道 测 
试 设 计 有 缺点 ， 需 要 改进 。 在 测试 过 程 中 ,他 使 用 调试 器 来 获得 测试 反馈 ， 从 而 快速 地 调整 测试 
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7.3 ”业务 研究 


设计 ， 并 确保 覆盖 所 有 被 修改 的 代码 。 典 型 的 代码 覆盖 率 分 析 要 求 代码 插 桩 和 和 覆盖 率 分 析 工 具 ， 
对 于 补丁 测试 等 任务 可 能 不 够 方便 。 使 用 调试 器 可 以 快速 分 析 少 量 代码 的 测试 覆盖 率 , 在 一 些小 
规模 的 测试 任务 中 可 以 发 挥 好 的 作用 。 


7.3 业务 研究 


语 境 驱动 测试 认为 ， 产品 是 一 种 解决 方案 。 如 果 问 题 没有 被 解决 ， 产 品 就 是 无 用 的 。 
[ContextDrvienTesting12]。 为 了 更 好 地 测试 ,测试 人 员 需 要 理解 产品 的 业务 需求 (有待 解决 的 问 
题 )， 并 分 析 产 品 设计 如 何 满足 业务 需求 (产品 所 给 出 的 解决 方案 )。 本 市 介绍 一 组 研究 业务 、 需 
求 、 规 约 和 设计 的 方法 ， 以 帮助 测试 人 员 更 好 地 实施 测试 。 


7.3.1 理解 关系 人 


关系 人 是 软件 的 利益 相关 者 ， 包 括 软 件 产 品 的 购买 者 、 使 用 者 、 开 发 者 、 维 护 者 、 销 售 者 、 
管理 者 等 。 表 7-2 列 举 了 典型 的 软件 关系 人 和 他 们 对 软件 质量 的 期 望 。 


表 7-2 典型 的 软件 关系 人 


关系 人 类 型 fa 述 对 软件 质量 的 期 望 
a 用 户 是 使 用 软件 的 人 用 户 希 望 软件 可 以 帮助 他 实现 个 人 目标 , 重视 软件 的 
能 力 、 易 用 性 、 魅 力 、 性 能 等 ” 
客户 客户 是 购买 软件 的 人 。 对 于 个 人 用 户 , 用 户 就 户 希 望 软件 可 以 帮助 团队 实现 业务 目标 。 除 了 用 户 


客 
是 购买 软件 的 人 ; 对 于 企业 用 户 , 通常 是 业务 ”看 重 的 质量 属性 外 , 客户 会 重视 软件 的 价格 、 可靠 性 、 
主管 批准 软件 购买 申请 或 签订 软件 开发 合同 。 售后 支持 等 


IT 管理 员 在 企业 中 ，IT 管 理 员 负 责 部 署 、 升 级 、 配 置 和 IT 管理 员 希 望 软件 可 以 方便 地 部 署 与 维护 ,重视 软件 
维护 企业 所 使 用 的 软件 的 易 部 署 性 、 可 监控 性 、 安 全 性 等 

第 三 方 开发 ”许多 软件 提供 编程 接口 ,允许 其 他 开发 人 员 在 开发 人 员 希 望 软件 提供 稳定 、 丰 富 、 易 用 的 编程 接 

人 员 其 之 上 构建 应 用 和 充分 的 文档 。 他 们 还 希望 ， 当 软件 升级 时 ， 编 程 接 
口 可 以 向 后 兼容 

程序 员 程序 员 是 编写 软件 的 人 程序 员 和 希望 软件 代码 简洁 、 容 易 理解 ， 设 计 灵 活 、 可 
重 构 ， 架 构 清 晰 、 可 扩展 

测试 人 员 测试 人 员 是 测试 软件 的 人 测试 人 员 希 望 软件 拥有 可 测试 性 ,能 够 方便 地 控制 软 
件 的 行为 、 观 察 它 的 状态 和 输出 , 易于 编写 自动 化 测 


试 、 易 于 审计 和 追踪 


管理 人 员 管理 人 员 是 管理 软件 开发 的 人 管理 人 员 和 希望 软件 可 以 达成 项 目 团队 的 业务 目标 ,这 
通常 体现 为 用 合理 的 成 本 、 人 恰当 的 进度 ,发布 足 够 好 
的 软件 


D 不 同 的 人 对 于 软件 的 质量 属性 有 不 同 的 期 望 , 表 7-2 只 讨论 了 几 种 典型 的 质量 属性 。 有 关 质 量 属性 的 更 详细 讨论 请 
参考 3.2.9 节 和 4.2.1 节 。 


. 241 . 


关系 人 类 型 描述 对 软件 质量 的 期 望 
运 维 人 员 对 于 互联 网 应 用 ， 运 维 人 员 维 护 在 线 系统 与 IT 管理 人 员 相似 ， 运 维 人 员 重 视 软 件 的 易 部 署 性 、 


易 升 级 性 、 可 监控 性 、 安 全 性 等 
支持 人 员 支持 人 员 通 过 电话 、 论 坛 、 即时 通信 软件 等 工 。 支持 人 员 希 望 软件 易于 使 用 、 稳 定 可 靠 ,使 用 户 不 必 
具 向 用 户 提供 软件 的 技术 支持 寻求 技术 支持 。 他 们 还 希望 ， 当 软件 出 现 问 题 时 , E 
能 够 提供 足够 多 的 诊断 信息 和 简单 易 用 的 报告 方法 ， 
以 便于 调试 和 修复 
销售 人 员 销售 人 员 负 责 推 销 软件 销售 人 员 希 望 软件 有 足够 的 卖点 , 从 而 在 激烈 的 竞争 


中 可 以 脱 括 而 出 ,重视 软 件 的 能 力 和 魅力 


为 了 让 软件 产品 获得 成 功 ,项 目 团 队 需 要 理解 软件 关系 人 的 类 型 , 设 定 为 他 们 服务 的 优先 级 ， 
使 所 开发 的 产品 以 恰当 的 优先 级 满足 他 们 的 需求 。 对 于 测试 人 员 而 言 , 他 需要 用 关系 人 的 视角 考 
察 软件 ， 针 对 他 们 的 需求 提供 软件 的 质量 信息 。 


3.2.8 方 介绍 了 The Test Eye 发 布 的 “37 个 测试 想法 来 源 ”[TheTestEye12]。 这 篇 文档 提示 测试 
人 员 从 以 下 5 个 方面 思考 “关系 人 ”， 以 产生 测试 想法 。 


口 用 户 : 分 析 使 用 软件 产品 的 不 同类 型 的 用 户 ， 了 解 他 们 对 软件 的 期 望 、 需 要 完成 的 任务 、 
所 具备 的 技能 水 平 、 使 用 软件 的 语 境 等 信息 。 这 帮助 测试 人 员 多 角度 地 考虑 产品 的 使 命 
和 任务 ， 并 建立 有 代表 性 的 “用 户 角色 ”( 参见 5.6.2 节 )。 

O 质量 特性 : 分 析 产 品 需要 重点 支持 的 质量 特性 ， 并 拟定 测试 策略 来 检查 这 些 特性 。 

O 产品 恐惧 : 了 解 关系 人 对 产品 的 忧虑 ， 发 现 他 们 真正 担心 的 事情 。 将 这 些 忧 虑 转换 为 测 

试想 法 ， 以 指导 具体 的 测试 活动 。 

O 使 用 情景 : 分 析 关 系 人 使 用 产品 的 情景 ， 以 设计 情景 测试 ( 参见 5.6 节 )。 

口 领域 信息 : 了 解 关 系 人 的 领域 信息 ， 包 括 他 们 要 解决 的 业务 问题 、 使 用 软件 的 环境 、 常 
面临 的 困难 等 ( 参见 7.3.5 节 )。 通 过 访谈 、 会 议 、 电 话 、 邮 件 等 方式 直接 交流 ， 能 够 更 好 
地 理解 关系 人 的 动机 、 任 务 和 想法 。 


在 测试 过 程 中 , 测试 人 员 需 要 持续 思考 这 些 因素 。 这 可 以 帮助 他 更 好 地 理解 产品 ， 并 产生 多 
样 化 的 测试 想法 。 以 下 是 一 些 实践 要 点 。 


口 在 项 目 之 初 ， 测 试 人 员 并 不 深刻 地 理解 产品 和 项 目 。 此 时 ， 分 析 关 系 人 的 目标 是 大 致 理 
解 产 品 的 远景 和 功能 ， 了 解 最 重要 的 关系 人 ， 以 及 他 们 最 重视 的 情景 和 质量 特性 。 基 于 
这 些 知 识 ， 测 试 人 员 会 获得 一 批 测试 想法 ， 为 深入 测试 黄 定 基础 。 

口 随 着 项 目 进展 ， 测 试 人 员 会 逐渐 掌握 更 多 的 产品 知识 和 业务 知识 。 他 将 这 些 知识 放 和 人 关 
系 人 的 语 境 ， 用 关系 人 的 视角 推敲 产品 ， 从 而 产生 一 些 新 的 测试 想法 。 因 为 这 些 测 试想 
法 参考 了 关系 人 的 情景 和 期 望 ， 所 以 能 够 更 加 真实 地 检验 产品 在 用 户 环境 中 的 表现 。 

口 在 软件 发 布 后 ， 测 试 人 员 会 陆续 收 到 一 些 来 自用 户 的 缺陷 报告 。 他 需要 分 析 为 什么 测试 
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活动 没有 捕获 到 这 些 缺 陷 ， 并 了 解 用 户 发 现 它 们 的 情景 。 这 些 知 识 有 助 于 他 更 好 地 理解 
产品 和 用 户 ， 以 准备 未 来 的 测试 。 


在 测试 实践 中 , 吃 狗 食 ， 即 大 规模 内 部 使 用 ,是 一 种 从 软件 使 用 者 的 角度 获取 产品 质量 信息 
的 方法 。 所 谓 “ 吃 自己 的 狗 食 ”是 指 软件 项 目 团 队 在 日 常 工作 中 使 用 自己 开发 的 产品 
[WikipediaDogfooding13]。 例 如 ， 微 软 的 Windows 团 队 会 使 用 开发 中 的 Windows 系 统 。 团 队 成 员 
定期 将 新 版 本 的 系统 安装 在 自己 的 计算 机 上 , 将 它 作 为 工作 平台 ,完成 编码 、 测 试 、 协 作 等 所 有 
工作 。 又 例如 ， 谷 歌 公 司 的 员工 会 安装 最 新 版 的 Chrome 浏 览 器 ， 用 它 网 络 冲浪 ， 以 提供 第 一 时 
间 的 质量 反馈 。 在 浏览 器 经 历 了 足够 的 内 部 使 用 后 ， 他 们 会 发 布 公开 版 本 给 外 部 用 户 使 用 
[Whittaker12]。 


内 部 使 用 是 一 项 很 有 价值 的 开发 实践 ， 它 可 以 在 许多 方面 提高 开发 过 程 和 软件 产品 的 质量 。 


口 因为 大 量 员工 使 用 产品 ， 所 以 内 部 使 用 可 以 发 现 许多 小 组 测试 难以 发 现 的 缺陷 。 例 如 ， 
Windows 团 队 有 数 千 名 员工 ， 他 们 在 使 用 Windows 系 统 时 ， 会 利用 多 种 多 样 的 硬件 设备 ， 
安装 形形色色 的 软件 ， 以 迎 然 不 同 的 方式 进行 工作 。 这 有 助 于 发 现 一 些 特殊 配置 和 特殊 
操作 才能 暴露 的 缺陷 。 

口 因为 使 用 者 在 利用 产品 完成 实际 任务 ， 所 以 内 部 使 用 有 助 于 发 现 一 些 真实 情景 所 暴露 的 
缺陷 。 现 实 世 界 是 非常 复杂 的 ， 用 户 使 用 软件 的 方式 和 需要 处 理 的 数据 往往 超 乎 测试 人 
员 的 想象 。 大 规模 的 使 用 让 软件 经 受 真实 世界 的 考验 ， 有 助 于 发 现 一 些 “ 极 端 情况 ”( 有 
时 用 户 的 “常见 情景 ”可 能 是 软件 设计 的 “极端 情况 ”) 中 所 暴露 的 缺陷 。 

口 内 部 使 用 让 整个 研发 团队 参与 到 质量 反馈 过 程 中 ， 让 每 个 人 都 可 以 提交 缺陷 和 建议 ， 从 
而 潜移默化 地 提高 了 团队 的 质量 意识 。 因 此 ， 有 经 验 的 团队 领导 会 鼓励 所 有 团队 成 员 参 
与 内 部 使 用 ， 并 以 身 作 则 地 使 用 软件 、 提 交 和 缺陷 和 建议 。 

口 内 部 使 用 要 求 员工 安装 尚未 发 布 的 最 新 版 本 的 软件 ， 这 潜在 要 求 软 件 的 大 部 分 构建 达到 
“可 用 ”的 标准 ， 不 存在 频繁 朋 溃 、 工 作 流 中 断 等 严重 的 缺陷 。 项 目 团 队 应 该 将 该 要 求 视 
为 质量 改进 的 动力 ， 用 多 种 方法 来 提高 所 提交 代码 的 质量 ， 并 通过 持续 集成 和 自动 化 测 
试 来 尽快 发 现 严重 的 缺陷 。 

口 内 部 使 用 对 软件 开发 过 程 提出 了 更 高 的 要 求 。 项 目 团 队 需 要 持续 地 构建 出 足够 好 的 产品 ， 
用 恰当 地 方式 将 软件 推送 给 内 部 用 户 ， 实 现 故 障 诊断 工具 以 自动 地 收集 软件 月 演 、 进 程 
死 锁 等 严重 问题 ， 提 供 方便 的 渠道 让 内 部 用 户 提交 缺陷 和 建议 ， 建 立 缺 陷 分 拣 流 程 让 用 
户 提交 的 问题 得 到 调查 和 修复 。 为 了 达成 这 些 目标 ， 项 目 团队 需要 付出 额外 的 努力 ， 其 
成 果 是 更 流畅 的 开发 过 程 、 更 迅速 的 质量 反馈 循环 。 


由 以 上 讨论 可 知 , 内 部 使 用 需要 整个 项 目 团 队 的 支持 , 并 对 开发 流程 和 软件 技术 提出 了 相应 
的 要 求 。 在 此 过 程 中 , 测试 小 组 的 典型 任务 包括 用 自动 化 测试 监控 构建 的 质量 、 安装 并 使 用 软件 、 
提交 缺陷 、 复 现 他 人 提交 的 缺陷 、 提 供 更 多 的 质量 信息 等 。 从 理解 用 户 的 角度 , 测试 人 员 在 使 用 
软件 的 时 候 , 除了 关注 软件 骨 演 、 功能 失常 等 明显 缺陷 外 , 还 需要 分 析 软 件 在 用 户 情景 中 的 表现 。 
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在 使 用 软件 完成 日 常 工作 时 , 他 会 主动 使 用 软件 的 高 级 功能 和 高 级 设置 , 并 尝试 用 多 种 方式 来 操 
作 软 件 。 经 过 一 段 时 间 的 “把 玩 ”， 他 能 够 较 完整 地 理解 软件 的 能 力 ， 并 对 软件 如 何 解 决 用 户 的 
问题 形成 自己 的 见解 。 


内 部 使 用 的 潜在 问题 是 项 目 团 队 成 员 通 常 不 是 最 终 用 户 , 或 不 能 代表 所 有 的 用 户 , 所 以 内 部 
使 用 仍 有 可 能 会 错过 一 些 明 显 的 缺陷 。 例如 , 微软 Office 团 队 内 部 使 用 开发 中 的 Office 套 装 , 虽然 
AB Ai Microsoft Word， 但 是 该 过 程 仍 存在 以 下 不 足 。 


O 微软 的 工作 语言 是 英语 ， 所 以 员工 之 间 用 英文 文档 和 邮件 进行 交流 。 内 部 使 用 对 英语 文 
档 、 英 文 输 入 、 英 语 版 Word 有 较 好 的 覆盖 ,但 是 并 没有 很 好 地 和 覆盖 到 多 语言 文档 、 多 语 
言 输入 、 加 载 语 言 包 的 Word 、 非 英语 版 Word 等 情况 。 考 虑 到 Office 套 装 支 持 数 十 种 语言 、 
面向 全 球 市 场 ， 单 纯 的 内 部 使 用 并 不 能 满足 国际 化 测试 的 要 求 。 

微软 员工 所 编写 的 大 多 是 商业 备忘录 、 规 格 说 明 、 设 计 方 案 、 测 试 计划 等 技术 性 较 强 、 
篇 幅 较 短 的 文档 ， 它 们 没有 和 覆盖 许多 重要 的 文档 类 型 和 排版 需求 。 例 如 ,科研 工 作者 所 
写 的 学 术 论文 要 求 精确 的 排版 ， 并 包含 大 量 的 数学 符号 、 数 学 公式 、 图 、 表 、 交 又 引用 、 
参考 文献 等 元 素 。 领 域 专家 编写 的 学 术 专 著 可 以 视 为 大 部 头 的 学 术 论 文 CET SS 
并 不 罕见 )， 其 篇 幅 给 Word 的 易 用 性 和 性 能 提出 了 挑战 。 

口 许多 企业 和 开发 者 基于 Word 提 供 的 API 编 写 了 大 量 的 宏 应 用 和 Word 插 件 。 微 软 的 内 部 使 

用 不 能 覆盖 这 批 被 广泛 使 用 的 应 用 和 插件 。 


为 了 弥补 内 部 使 用 在 覆盖 率 上 的 不 足 , 许多 软件 团队 会 发 布 外 部 试用 的 Beta 版 本 ,从 而 更 广 
泛 地 收集 产品 的 质量 反馈 。 不 过 , 测试 小 组 并 不 能 完全 依赖 外 部 试用 来 发 现 软件 缺陷 。 他 们 应 该 
评估 已 执行 测试 和 内 部 使 用 的 覆盖 范围 , 然后 针对 特定 用 户 角色 设计 一 些 专 项 测试 。 例 如, Word 
的 测试 小 组 可 以 考虑 如 下 测试 活动 。 


口 测试 小 组 邀请 母语 不 是 英语 ( 如 中 文 、 日 语 、 西 班 牙 语 等 ) 的 员工 参与 为 期 一 天 的 国际 
语言 测试 。 测 试 组 织 者 提供 测试 指南 ， 让 测试 参与 者 使 用 母语 编写 一 份 包含 指定 内 容 元 
素 ( 如 表格 、 图 片 、 艺 术 字 、 超 链接 等 ) 的 文档 。 测 试 参与 者 使 用 母语 配合 其 他 语言 
写 文档 ， 利 用 各 种 困难 的 任务 来 挑战 软件 。 这 样 的 测试 活动 可 以 在 项 目 周期 中 实施 数 次 ， 
以 扩大 测试 所 覆盖 的 语言 和 文档 类 型 。 
口 测试 小 组 安排 测试 人 员 针 对 特定 的 用 户 角 色 和 文档 类 型 进行 测试 。 例 如 ， 一 名 测试 人 员 
扮演 数学 教授 ， 编 写 一 篇 数学 论文 ， 同 时 另 一 名 测试 人 员 扮演 维基 百科 的 编辑 ， 编 写 
个 名 人 的 词 条 。 测 试 组 织 者 需要 精心 设计 用 户 角色 和 待 编写 文档 ， 以 便 测 试 人 员 可 以 用 
差异 化 的 视角 来 检查 软件 。 
总 之 , 人 研究 关系 人 是 为 了 更 好 地 理解 软件 的 使 命 , 通过 提供 质量 信息 来 提高 软件 对 于 关系 人 
的 价值 。 为 此 , 测试 人 员 需 要 识别 重要 关系 人 ,用 “ 同 理 心 ”去 理解 他 们 的 目的 和 需求 ,并 将 相 
关 知 识 运用 于 测试 实践 。 


口 
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7.3.2 ”评审 需求 文档 


软件 需求 包括 项 目 困 队 记录 的 显 式 需 求 和 没有 被 正式 记载 的 隐 式 需求 。 测 试 人 员 需 要 关注 这 
两 种 需求 , 才能 做 好 测试 工作 。 需求 文档 通常 是 显 式 需求 最 主要 的 载体 , 值得 测试 人 员 认真 研究 。 
丁 介绍 一 些 分 析 需 求 文档 的 方法 和 技巧 。 


在 许多 项 目 团队 ， 典 型 的 开发 流程 是 产品 经 理 编写 需求 文档 ， 来 概述 关系 人 对 产品 的 需求 ， 
并 详细 定义 产品 的 功能 和 特性 。 之 后 ,程序 员 根 据 需求 文档 编写 设计 文档 , 测试 人 员 人 参考 需求 文 
档 和 设计 文档 编写 测试 计划 。 因 此 , 需求 文档 是 测试 计划 的 基本 参考 资料 ,需求 文档 评审 是 测试 
设计 的 重要 环节 。 


为 了 从 需求 文档 中 获得 尽 可 能 多 的 价值 ， 测 试 人 员 需 要 “以 输出 驱动 输入 ”， 即 用 一 组 预期 
的 评审 结果 来 指引 阅读 和 分 析 。 带 着 目标 阅读 可 以 调动 思维 ,让 测试 人 员 更 积极 地 研究 需求 文档 ， 
从 而 提高 评审 效率 。 对 于 大 多 数 需 求 文档 ,测试 人 员 可 以 参考 如 下 结果 来 驱动 需求 文档 评审 。 


口 需求 文档 的 缺陷 。 
口 产品 的 测试 模型 。 
口 测试 想法 和 值得 调查 的 疑问 。 


驱动 力 1: 评审 需求 文档 需要 发 现 需求 文档 的 错误 或 不 足 


测试 人 员 应 该 一 边 阅读 文档 , 一 边 标 记 和 评注 所 发 现 的 问题 。 然 后 ,他 会 与 产品 经 理 讨 论 这 
些 问 题 ， 让 错误 得 到 修正 ， 让 误解 得 到 洪 清 。 如 果 必 要 ， 他 会 将 一 些 问题 提交 为 文档 缺陷 。 


关于 如 何 批判 性 地 阅读 文档 ，Mortimer J. Adler 和 Charles Van Doren 的 经 典 名 车 《如何 阅读 一 
本 书 》 提 供 了 一 些 很 好 的 建议 [Adler72]。 测 试 人 员 可 以 参考 “结构 一 主张 一 评估 ”的 阅读 步 又， 
来 评审 需求 文档 。 


批判 性 阅读 的 第 一 步 是 了 解 文 档 的 结构 和 主旨 。 测试 人 员 快 速 地 浏览 文档 , 获得 对 文档 的 整 
体 印 象 , 为 深入 阅读 建立 知识 结构 。 对 于 一 篇 十 几 页 的 文档 ,快速 阅读 只 需要 十 分 钟 的 时 间 ， 基 
本 态度 是 “不 求 其 解 "， 基 本 方法 是 “提纲 者 领 "。 在 阅读 中 ,测试 人 员 可 以 略 过 大 部 分 内 容 ， 
只 关注 一 些 重点 对 象 。 


O 摘要 。 大 部 分 需求 文档 在 开头 综述 了 要 解决 的 问题 、 要 达成 的 目标 。 阅 读 此 类 摘要 性 的 
文字 可 以 立即 了 解 文档 的 讨论 重点 。 

口 章节 标题 。 标 题 概述 了 音节 的 内 容 ， 标 题 的 层级 关系 表达 了 内 容 之 间 的 隶属 关系 。 浏 览 
标题 让 测试 人 员 了 解 文档 论述 了 什么 ， 以 及 用 什么 结构 来 论述 。 

O 目标 和 非 目 标 。 许 多 文档 模板 提供 了 “目标 和 非 目标 ”一 节 ， 让 文档 撰写 者 陈述 该 文档 
需要 解决 的 问题 和 不 会 涉及 的 问题 。 阅 读 该 节 有 助 于 测试 人 员 了 人 解 文档 的 主旨 。 

口 图 。 许 多 文档 用 图 描述 了 模块 设计 、 系 统 结 构 、 人 机 界面 等 重要 信息 。 而 且 ，“ 一 图 胜 干 
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过"， 图 可 以 用 一 目 了 然 的 方式 传达 大 量 的 信息 。 读 图 能 够 帮助 测试 人 员 用 较 短 时 间 把 握 
整体 设计 和 必要 细节 。 

O 代码 示例 。 一 些 涉及 实现 细节 的 需求 文档 会 给 出 代码 片段 。 阅 读 这 些 代码 可 以 快速 了 解 
目标 代码 的 设计 风格 和 实现 策略 。 


阅读 需要 目标 ， 才 能 避免 “过 目 即 忘 "。 人 快速 阅读 的 主旨 是 搜索 文档 最 重要 的 信息 ， 
出 它们 的 关系 。 在 此 过 程 中 , 测试 人 员 可 以 用 如 下 问题 指导 信息 搜索 。 即 便 快 速 阅读 不 能 提供 完 
整 的 答案 ， 它 们 也 为 后 续 的 评审 提供 了 指引 。 


口 这 篇 文档 的 目标 读者 是 谁 
口 这 篇 文档 代表 了 哪些 关系 人 的 利益 ? 

O 这 篇 文档 要 解决 什么 问题 ? 要 达成 什么 目标 ? 

口 这 篇 文档 提出 了 怎样 的 解决 方案 ? 

口 这 篇 文档 有 什么 样 的 结构 ?哪些 部 分 是 评审 的 重点 ? 


经 过 快速 阅读 , 测试 人 员 已 经 掌握 了 文档 的 结构 ,知晓 哪些 部 分 是 重点 内 容 。 在 批判 性 阅读 
的 第 二 个 阶段 ， 测 试 人 员 会 仔细 阅读 重点 内 容 ， 分 析 文 档 的 论点 、 论 据 和 主张 。 其 中 ， 阅 读 的 基 
本 技术 是 组 织 和 总 结 。 


组 织 是 识别 出 需求 文档 陈 诉 的 事实 、 推 疡 、 设 计 、 决 定 等 要 点 ， 总 结 是 将 获得 的 信息 归纳 为 
多 种 测试 模型 。 这 要 求 测试 人 员 从 需求 文档 中 抽取 信息 ,重新 排列 ， 以 获得 更 内 聚 、 更 精炼 的 信 
息 表 示 。 该 步 又 是 一 个 信息 转换 的 过 程 ,测试 人 员 应 该 忠实 于 需求 文档 。 他 可 以 标注 出 自己 的 疑 
问 和 新 想法 ， 但 不 应 该 改写 原文 的 信息 。 


许多 测试 人 员 喜 欢 阅读 纸 质 文档 。 为 了 组 织 文 档 中 的 素材 ,他 会 一 边 阅读 , 一 边 用 手中 的 笔 批 
注 文档 。 他 会 用 董 光 笔 标 记 出 重要 的 文字 , 用 签字 笔 在 段落 旁边 总 结 出 段落 主旨 , 或 批注 自己 的 观 
点 。 一 些 助 记 符号 可 以 提高 标注 的 速度 ， 例 如 用 惊叹 号 “!” 代 表 重 要 的 信息 ,用 问号 “? ”表示 
有 疑问 的 信息 。 读 完 文档 后 ， 他 扫描 标记 的 文字 和 自己 的 笔记 ， 整 理 出 关键 信息 ， 并 组 织 成 模型 。 


另 一 种 常见 的 阅读 方法 是 利用 文字 处 理 软件 , 使 用 软件 的 功能 来 高 亮 文字 和 加 入 批注 。 有 些 
团队 将 文档 存放 在 共享 的 服务 器 上 , 文档 作者 和 团队 成 员 都 可 以 读 到 这 些 高 亮 文 字 和 批注 .此 外 ， 
测试 人 员 可 以 同时 启动 思维 导 图 软件 或 笔记 软件 , 让 它 的 窗口 与 文档 窗口 并 排放 置 ， 从 而 方便 地 
将 信息 从 需求 文档 搬运 到 思维 导 图 、 功 能 列表 、 状 态 图 等 模型 中 。 这 样 , 测试 人 员 可 以 一 边 阅 读 
文档 ， 一 边 建立 测试 模型 。 


经 过 重点 阅读 , 测试 人 员 应 该 能 够 回答 第 一 阶段 所 列举 的 问题 。 如 果 还 存在 疑问 , 这 可 能 上 暗 
示 和 需求 文档 存在 不 足 , 没有 讨论 基本 的 问题 。 另 一 种 可 能 是 测试 人 员 对 产品 和 业务 缺少 必要 的 知 
识 ， 尚 不 能 完整 地 理解 需求 文档 。 对 于 后 一 种 情况 ,测试 人 员 可 以 向 产品 经 理 或 测试 伙伴 请 教 ， 
并 补充 学 习 一 些 产 品 知识 。 在 某 种 意义 上 , 评审 需求 文档 也 是 评估 测试 人 员 自 身 知识 的 机 会 , 他 
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应 该 利用 该 机 会 来 提高 知识 储备 。 


在 批判 性 阅读 的 第 三 个 阶段 ， 测 试 人 员 评价 和 批评 文档 的 内 容 。 在 实际 阅读 过 程 中 , 测试 人 
员 完 全 可 以 在 第 二 阶段 就 质疑 文档 , 并 指出 它 的 错误 或 不 足 。 第 三 个 阶段 让 测试 人 员 站 在 全 局 的 
高 度 , 反思 整 篇 文档 ， 并 推 项 细节 。 对 于 一 些 比 较 复 杂 的 软件 产品 ,这 样 的 思考 有 助 于 获得 更 好 
的 理解 、 发 现 更 深层 次 的 问题 。 以 下 是 一 些 常 见 的 思考 点 。 


口 在 论证 时 ， 文 档 所 提供 的 证 据 是 否 正确 ?如 果 文 档 所 依赖 的 证 据 是 错误 的 ， 那么 其 推论 
势必 存在 问题 。 测 试 人 员 和 需要 质疑 需求 文档 的 基本 证 据 。 例 如 ， 文 档 陈 诉 的 用 户 情 景 是 
否 真实 地 反映 了 用 户 的 期 望 ? 文档 对 工作 流程 所 施加 的 业务 规则 是 必须 的 吗 ? 文档 所 依 
赖 的 论据 是 事实 ， 还 是 文档 作者 的 假设 ? 

O 在 论证 时 ， 文 档 所 提供 的 证 据 是 否 充分 ? 考虑 不 周 是 需求 文档 的 典型 问题 。 当 需求 文档 
遗漏 了 一 些 因素 ， 软 件 设 计 很 可 能 不 能 应 对 真实 世界 的 挑战 。 测 试 人 员 需 要 尽力 思考 各 
种 可 能 性 ， 以 及 早 发 现 此 类 问题 。 例 如 ， 文 档 所 提供 的 用 户 角 色 具 有 代表 性 吗 ? 有 没有 
重要 的 用 户 角 色 被 遗漏 ? 文档 所 陈述 的 用 户 情景 覆盖 了 所 有 典型 情景 吗 ?” 如 果 只 覆盖 了 
部 分 情景 ， 那 么 没有 讨论 的 情景 对 软件 设计 有 何 影响 ?需求 文档 给 出 的 软件 功能 可 以 处 
理 可 预见 的 用 户 操作 吗 ? 可 以 处 理 可 能 发 生 的 异常 吗 ? 

O 在 论证 时 ， 文 档 的 推理 过 程 正确 吗 ? 对 事实 的 错误 解读 会 导致 错误 的 结论 。 测 试 人 员 需 
要 关注 论证 过 程 的 逻辑 错误 。 例 如 ， 产 品 经 理 分 析 在 线 系统 的 日 志 ， 获 得 了 用 户 行为 数 
据 ， 然 后 建立 了 用 户 行为 模型 ， 并 导出 了 新 的 软件 设计 。 对 此 ,测试 人 要 需要 检查 用 户 
行为 数据 是 否 典 型 、 该 数据 能 否 代表 主流 用 户 的 行为 、 对 数据 的 解读 是 否 恰当 、 所 建立 
的 模型 是 否 正 确 、 模 型 能 否 导出 男 一 种 不 同 的 设计 等 问题 。 

口 文档 是 否 清晰 地 阐述 了 用 户 需 求 ， 并 明确 地 描述 了 软件 设计 的 目标 ? 论述 含糊 不 清 是 需求 
文档 另 一 个 典型 问题 。 如 果 程 序 员 错 误 地 理解 了 需求 ， 他 会 设计 出 有 缺陷 的 软件 ;如 果 测 
试 人 员 错 误 地 理解 了 需求 ， 他 的 测试 活动 将 遗漏 一 些 重要 的 缺陷 。 测 试 专家 Richard Bender 
对 基于 需求 的 测试 有 长 期 的 积累 ， 他 的 文章 《歧义 评审 过 程 》( The Ambiguity Review 
Process” ) 提出 了 一 个 精炼 的 歧义 检查 列表 ,以 及 一 组 容易 引发 歧义 的 词汇 列表 [Bender07]。 
虽然 他 的 歧义 词汇 列表 仅 提供 英文 词汇 ,但 是 测试 人 员 很 容易 将 其 转换 为 中 文 词汇 。 基 于 
这 些 评审 参考 资料 ， 测 试 人 员 可 以 逐渐 发 展 出 自己 的 检查 列表 和 词汇 列表 ， 从 而 实现 更 高 
效 地 检查 。 

口 文档 的 所 设 定 的 目标 、 所 要 解决 的 问题 、 所 提出 的 方案 是 否 真 正 实现 了 关系 人 的 利益 ? 
具体 而 言 ， 测 试 人 员 可 以 思考 : 关系 人 的 利益 何在 ?实现 目标 可 以 最 大 化 关系 人 的 价值 
吗 ? 存在 其 他 有 价值 的 目标 吗 ? 需要 解决 的 问题 是 关系 人 最 关心 的 吗 ?” 所 提出 的 方案 能 
够 高 效 地 解决 问题 吗 ? 是 否 存在 更 好 的 替代 方案 ”当前 的 方案 存在 哪些 风险 ”需求 文档 
有 没有 提出 相应 的 风险 缓解 方法 ? 


O http://www.benderrbt.com/A mbiguityprocess.pdf. 
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驱动 力 2: 测试 人 员 通 过 批判 性 阅读 建立 的 测试 模型 


除了 发 现 需求 文档 的 问题 , 批判 性 阅读 会 重新 组 织 原文 档 的 信息 ,以 获得 面向 测试 的 产品 模 
型 。 这 不 但 帮助 测试 人 员 更 好 地 理解 文档 ,也 为 今后 的 测试 提供 了 支持 材料 。 不 同 内 容 的 需求 文 
档 会 得 到 不 同 的 测试 模型 ， 一 份 需求 文档 也 可 能 导出 多 个 测试 模型 。 在 阅读 时 , 测试 人 员 需 要 积 
极地 思考 何 种 模型 能 够 有 效 地 组 织 文档 的 信息 ， 并 动手 实践 。 以 下 是 一 些 常 见 的 测试 模型 。 


口 功能 列表 (参见 3.2.4 节 )。 测试 人 员 从 需求 文档 中 识别 出 功能 点 , 将 它们 组 织 成 功能 列表 。 
在 此 过 程 中 ,测试 人 员 会 推 殴 功能 点 之 间 的 隶属 关系 ， 并 尝试 构造 出 一 份 脉络 清晰 、 逮 
辑 合理 的 层次 列表 ， 即 将 文字 信息 重 构 为 树 形 结构 的 信息 框架 。 该 过 程 不 但 帮助 测试 人 
员 梳 理 文档 内 容 ， 还 为 功能 测试 的 测试 计划 提供 了 基础 素材 。 

口 质量 特性 列表 (参见 3.2.9 节 )。 测 试 人 员 用 质量 特性 列表 ( 如 [TheTestEyel1] ) 来 检查 文 
档 。 他 识别 需求 文档 明确 提 到 的 质量 特性 ( 如 能 力 、 安 全 性 、 兼 容 性 等 )， 作 为 测试 想法 
的 来 源 。 同 时 ， 他 发 掘 产 品 应 该 具有 但 是 需求 文档 没有 记录 的 质量 特性 。 有 时 ， 产 品 经 
理会 认为 某 些 特性 是 “不 言 自 明 ” 的 ， 为 了 让 需求 文档 简洁 明了 ， 他 没有 予以 讨论 。 但 
是 ,程序 员 可 能 会 忽视 这 些 特性 ， 使 得 产品 设计 不 能 满足 他 们 的 要 求 。 有 了 时， 产品 经 理 
会 因为 玖 忽 或 缺少 经 验 而 遗漏 一 些 重要 的 质量 特性 。 对 于 这 些 情 况 ， 测试 人 员 需 要 提出 
需求 文档 应 该 考虑 的 质量 特性 ， 并 提交 给 项 目 团 队 共 同 讨 论 。 

Q Google ACC 参见 3.2.2 节 )。 在 知晓 产品 的 功能 和 质量 特性 后 ,测试 人 员 可 以 用 Google 
ACC 模 型 来 整理 信息 。 他 用 表格 来 组 织 属性 、 功 能 、 组 件 这 三 方面 的 信息 ， 从 而 洞察 产 
品 特性 和 产品 元 素 之 间 的 联系 。 绘 制 表格 的 过 程 是 测试 计划 的 过 程 ， 表 格 是 测试 计划 的 
成 果 ， 为 进一步 的 测试 设计 奠定 了 基础 。 

O 启发 式 测试 策略 模型 HTSM (参见 4.2.1 节 )。HTSM 是 一 个 结构 化 的 、 可 定制 的 参考 模型 ， 
包括 产品 元 素 、 项 目 过 程 、 质 量 标准 、 测 试 技术 等 方面 。 在 信息 覆盖 上 ,HTSM 是 功能 列 
表 、 质 量 特性 列表 和 Google ACC 的 超 集 。 对 于 复杂 的 产品 ， 测 试 人 员 可 以 将 思维 导 图 形 
式 的 HTSM (如 图 7-28" 所 示 ) 作为 信息 架构 ， 将 需求 文档 的 信息 逐步 填 入 思维 导 图 。 在 
阅读 过 程 中 , HTSM 思 维 导 图 好 似 探 索 指南 ,指引 测 试 人 员 发 掘 特定 方面 的 信息 , 最终 的 
成 果 是 一 幅 多 角度 描述 产品 的 地 图 。 虽然 单纯 地 阅读 文档 并 不 能 构建 完整 的 HTSM, 但 是 
测试 人 员 仍旧 可 以 用 它 产 生 许多 好 的 测试 想法 。 测 试 人 员 可 以 将 这 些 想法 加 入 思维 导 图 ， 
使 之 成 为 产品 信息 和 测试 想法 的 混合 图 。 

口 输入 与 输出 模型 (参见 4.2.2 节 )。 一 些 文档 会 详细 描述 产品 或 模块 的 输入 、 输 出 和 计算 逻 
辑 。 对 此 ,测试 人 员 可 以 建立 输入 与 输出 模型 ， 以 梳理 输入 和 输出 之 间 的 关系 。 在 此 过 
程 中 ,测试 人 员 需 要 分 析 文 档 是 否 遗 漏 了 重要 的 输入 和 输出 参数 ， 是 否 完整 地 思考 了 输 
人 人 检查、 异常 处 理 、 错 误 报告 等 问题 。 


O 图 7-28 来 源 于 http://www.ministryoftesting.com/resources/mindmaps/。 该 网 页 提供 了 许多 测试 相关 的 思维 导 图 , 值得 
测试 人 员 参 考 。 
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口 系统 生态 图 〈 参 见 4.2.3 节 )。 对 于 部 署 在 多 台 计 算 机 或 拥有 多 个 进程 的 软件 系统 ,测试 人 
员 可 以 绘制 系统 生态 图 ， 以 描述 系统 部 署 的 拓扑 结构 、 与 外 部 环境 的 通信 方式 和 子 系统 
之 间 的 联系 。 即 便 某 些 文档 提供 了 相似 的 图 ， 从 测试 视角 重新 绘制 一 遍 并 加 入 相应 的 测 
试想 法 ， 对 于 文档 理解 和 测试 计划 仍旧 大 有 神 益 。 

O 实体 关系 模型 (参见 4.2.4 节 )。 如 果 理 解 产 品 需要 掌握 一 组 业务 对 象 的 关系 , 无论 产品 是 
否 使 用 数据 库存 储 业 务 数据 ,测试 人 员 都 可 以 考虑 用 实体 关系 模型 来 辅助 理解 。 基 于 实 
体 关 系 模型 ,测试 人 员 不 但 能 够 获得 测试 想法 ,还 可 以 检查 模型 中 实体 和 关系 的 一 致 性 ， 
从 而 发 现 需求 文档 的 缺陷 。 


口 状态 机 模型 《参见 4.2.5 蔬 )。 如 果 需 求 文档 描述 了 产品 的 工作 流 、 状 态 变迁 、 


约束 规则 等 


信息 ， 测 试 人 员 可 以 建立 状态 机 模型 ， 以 描述 软件 状态 、 状 态 变迁 以 及 在 特定 状态 下 的 
约束 规则 。 有 时 ， 产 品 经 理 用 文字 、 列 表 等 形式 描述 复杂 的 业务 规则 。 因 为 规则 非常 复 


ZR, 
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|- Developer 
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you communicate quickly, on demand, with the programmers: 

developer Relations. How you get along with the programmers. 

will be testing? 
on to perform? 
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Programmers? 
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changed or added in the product? 
igh that you can effectively test it? 

‘ie Test items. The product to be tested 
to future releases of the product? 


Do vou have the croduct to test? 


测试 人 员 很 难 完全 理解 ， 以 致 于 忽视 了 其 中 隐藏 的 问题 。 
和 约束 ， 能 够 以 更 直观 的 方式 表达 业务 规则 。 这 帮助 测试 人 员 更 好 地 理解 细节 ， 
现 一 些 业 务 设 计 上 的 深层 次 问题 。 
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Se Security. How well is the product protected against unauthor; 
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思维 导 


式 的 HTSM 


驱动 力 3: 测试 人 员 利 用 需求 文档 来 建立 技术 调查 的 目标 ， 并 激发 测试 想 ; 
批判 性 阅读 和 构建 测试 模型 都 可 以 产生 高 质量 的 测试 想法 。 与 此 同时 , 测试 人 员 还 可 以 利用 
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文档 来 “核对 ”产品 的 行为 。 在 阅读 文档 时 ， 他 标记 出 文档 对 产品 的 陈述 ， 然 后 针对 每 一 项 陈述 
设计 测试 。 以 下 是 一 些 常 见 的 测试 想法 [Kanerl1][Hendrickson13]。 


口 
口 利用 条 件 分 析 设 计 测 试用 例 ， 以 检查 产品 在 不 同情 景 下 的 表现 。 假 设 ， 需 求 文档 要 求 在 


设计 攻击 性 的 测试 用 例 ， 尝 试 让 软件 行为 不 符合 需求 文档 的 陈述 。 


线 词典 “在 用 户 键入 单词 时 ,显示 相应 的 查询 建议 ”。 对 此 , 测试 人 员 可 以 设计 一 组 测试 : 
如 果 用 户 在 键入 单词 时 , 服务 器 没有 返回 相应 的 查询 建议 给 浏览 器 , 用 户 会 观察 到 什么 ? 
如 果 用 户 键入 了 没有 意义 的 字符 串 ， 服 务 咒 返回 空 的 查询 建议 ， 用 户 会 观察 到 什么 ?如 
果 用 户 键入 词组 甚至 语句 ， 服 务 需 会 返回 什么 结果 ， 用 户 会 观察 到 什么 ? 


口 改变 陈述 中 的 参数 值 ， 使 用 不 同 的 数据 、 配 置 、 情 景 来 测试 产品 。 假 设 需求 文档 要 求 软 


口 


口 


口 


件 “ 能 够 打开 、 编 辑 并 保存 服务 器 上 的 共享 文档 ”。 从 文档 读 写 的 角度 ， 该 论述 隐 含 了 几 
个 参数 : 网 络 带宽 、 文 档 太 寸 、 被 编辑 的 内 容 、 共 同 编辑 文档 的 人 数 等 。 测 试 人 员 需 要 
针对 每 个 参数 设计 测试 用 例 ， 以 测试 典型 情况 、 边 界 情况 、 异 常情 况 等 。 

测试 陈 诉 所 隐 含 的 要 求 。 例 如 ,“ 能 够 打开 、 编 辑 并 保存 服务 器 上 的 共享 文档 ” 隐 式 地 要 
求 “对 共享 文档 实施 权限 管理 "。 这 通常 意味 着 软件 应 该 拒绝 无 权限 的 用 户 访问 文档 ， 并 
提供 必要 信息 帮助 他 申请 “只 读 ” 或 “编辑 ”权限 ; 软件 应 该 允许 拥有 “只 读 ” 权 限 的 
用 户 读 取 文 档 , 但 禁止 他 编辑 文档 ; 软件 应 该 允许 文档 所 有 者 授予 其 他 用 户 权 限 ， 并 随 
时 撤销 授权 。 测 试 人 员 应 该 考虑 这 些 情景 ,并 设计 测试 用 例 。 

设计 测试 用 例 以 测试 当前 陈 诉 和 与 之 相关 的 陈述 ， 通 过 同时 覆盖 多 个 模块 、 功 能 、 情 景 
来 发 现 设计 的 不 一 致 之 处 。 

设计 情景 测试 ， 在 一 个 实现 用 户 价值 的 故事 中 检查 软件 是 否 符合 需求 文档 的 陈述 。 软 件 
需要 交付 用 户 价值 ， 在 具体 的 情景 中 考查 需求 陈述 和 软件 行为 有 助 于 发 现 一 些 需求 和 设 
计 的 缺陷 。 


在 开发 和 测试 的 过 程 中 , 产品 的 需求 和 设计 可 能 发 生变 化 。 特 别 是 ,在 软件 投入 测试 和 试用 
后 , 项目 团队 会 收 到 许多 用 户 反馈 。 为 了 修复 缺陷 或 优化 用 户 体验 , 产品 经 理 和 程序 员 常 常 做 出 
设计 变更 。 随 着 产品 演化 , 产品 设计 可 能 不 再 符合 需求 文档 的 描述 。 为 了 避免 产品 错失 了 产品 研 
发 的 “初衷 ”, 测试 人 员 可 以 在 产品 基本 定型 后 再 次 “核对 ”需求 文档 和 产品 。 他 一 边 阅 读 文 档 ， 
一 边 按照 文档 描述 来 测试 产品 。 其 基本 目的 是 检查 产品 是 否 满足 需求 文档 的 陈述 , 发 现 测试 遗漏 
和 过 时 的 陈述 。 对 于 过 时 的 需求 描述 , 测试 人 员 可 以 提交 文档 缺陷 ,要求 产 品 经 理 进行 修订 。 另 
一 种 注重 实效 的 方法 是 ， 测 试 人 员 高 亮 出 不 再 成 立 的 描述 ， 并 加 上 批注 :“ 这 段 描述 不 再 成 立 ， 
当前 行为 请 参考 软件 版 本 : 2.0.1224.1225。” 最 后 将 批注 后 的 文档 或 文档 地 址 发 送 给 项 目 团队 。 


在 评审 需求 文档 的 过 程 中 ， 测 试 人 员 会 产生 一 些 测试 想法 ， 也 会 产生 一 些 值得 探索 的 疑问 。 
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的 组 织 


测试 专家 Elisabeth Hendrickson 建 议 用 测 程 主题 来 记录 这 些 测试 想法 和 探索 对 象 , 以 便 为 测试 活动 
与 安排 提供 基础 [Hendrickson13]。 如 3.2.13 节 所 介绍 的 ， 测 试 人 员 可 以 参考 Hendrickson 提 
供 的 模板 “使 用 < 资源 >， 探 索 < 对 象 >， 以 求 发 现 < 信 息 >” 来 编写 测 程 主题 。 在 需求 评审 中 ， 测 
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试 人 员 可 以 根据 产品 和 文档 的 特点 来 选择 模板 参数 的 值 。 以 下 是 一 些 常 用 的 选择 思路 。 
口 探索 < 对 象 >: 


m 产品 的 一 个 功能 。 
a 产品 的 一 个 组 件 或 子 系统 。 
a 产品 的 一 项 质量 特性 。 


口 使 用 < 资源 >: 


ma 重要 的 用 户 角 色 。 

a 实现 用 户 价值 的 使 用 情景 。 

a 挑战 < 对 象 > 能 力 的 使 用 情景 。 

a 与 < 对 象 > 有 协作 关系 的 功能 、 组 件 、 外 部 系统 等 。 
m < 对 和 象 > 所 依赖 和 处 理 的 数据 、 资 源 、 配 置 等 。 


口 发 现 < 信息 > 


m 产品 是 否 交付 了 关系 人 期 望 的 价值 ? 

m 产品 是 否 实现 了 需求 文档 所 承诺 的 质量 特性 ? 
m 产品 的 行为 是 否 符合 需求 文档 的 定义 ? 

产品 的 行为 是 否 符合 测试 模型 的 描述 ? 


在 模板 的 提示 下 , 测试 人 员 可 以 快速 地 记录 测 程 主题 , 例如 “使 用 < 最 近 一 个 月 的 产品 数据 >， 
探索 < 产品 的 计算 吞吐 量 >， 以 检查 < 需求 文档 所 要 求 的 吞吐 量 翻 倍 是 否 实现 >”““ 以 < 网 购买 家 的 
身份 >， 探 索 < 在 线 商 城 的 退货 功能 >， 以 了 解 < 订 单 的 生命 周期 是 否 满足 现 有 的 状态 机 模型 > ”。 
这 再 次 说 明 , 需求 评审 的 过 程 也 是 测试 计划 的 过 程 ， 其 产 出 不 但 是 更 好 的 的 产品 理解 ,还 包括 更 
好 的 测试 计划 。 


本 节 针 对 需求 文档 介绍 了 一 些 文档 评审 和 测试 分 析 的 方法 。 其实, 它们 也 是 基于 规约 的 测试 
的 常见 方法 , 能够 应 用 于 其 他 项 目 文档 的 评审 。 在 项 目 过 程 中 , 测试 人 员 应 该 积极 收集 任何 对 产 
品 设计 和 测试 有 帮助 的 文档 〈 规格 说 明 、 设 计 文档 、 用 户 手 册 、 广 告 文宣 等 )， 通 过 批判 性 阅读 
来 逐步 完善 对 产品 的 理解 ， 并 产生 的 有 针对 性 的 测试 想法 。 


7.3.3 ”通过 测试 来 研究 


软件 测试 是 一 种 研究 产品 的 基本 方法 。 例如 ，4.2.2 节 讨论 了 通过 测试 来 收集 产品 信息 ,以 构 
造 测试 模型 ，5.4.4 节 讨论 了 使 用 漫游 测试 来 学 习 产 品 、 调 查 情 况 和 检测 风险 。 实 际 上 ， 每 当 测 试 
人 员 对 产品 或 业务 产生 疑问 时 , 他 都 可 以 考虑 使 用 测试 来 实施 技术 调查 ,以 获得 线索 和 答案 。 本 
节 介 绍 一 些 带 见 的 测试 调研 方法 。 
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方法 1: 侦察 测 程 


测试 专家 James Bach 和 Jonathan Bach 兄 弟 提 出 了 “侦察 测 程 ” 的 概念 。 当 他 们 测试 一 款 新 产 
品 时 ,他们 会 安排 一 个 或 几 个 侦察 测 程 ， 以 快速 调查 产品 的 情况 。 在 一 个 视频 中 , 他们 展示 了 如 
何 快速 且 多 样 地 实施 侦察 测 程 [Bach09]。 其 中 , 测试 对 象 是 一 个 按钮 形状 的 玩具 ， 当 按钮 被 按 下 
I, ESA “That was easy” 的 声音 。 在 20 分 钟 的 测试 过 程 〈 视频 将 整个 过 程 浓缩 为 4 分 钟 ) 中 ， 
James 见 弟 使 用 了 一 组 测试 方法 。 


口 声明 测试 。 他 们 阅读 玩具 包装 盒 上 的 文字 ， 检 查 产 品 的 行为 是 否 符合 其 声明 ， 并 尝试 从 

文字 中 获得 测试 灵感 。 

口 文档 评审 。 他 们 阅读 产品 帮助 ， 了 解 产 品 的 正常 使 用 情景 和 预期 行为 。 

口 功能 测试 。 他 们 用 快乐 路 径 测试 检查 了 产品 的 基本 功能 ， 用 状态 转换 测试 检测 了 按钮 按 

下 和 弹 起 触发 的 状态 变迁 。 

口 产品 分 析 。 他 们 拆卸 了 产品 ， 分 析 它 有 哪些 部 件 、 部 件 有 何 作 用 、 部 件 之 间 如 何 连 接 ， 
从 而 推测 产品 的 工作 机 制 。 此 外 ，James Bach 提 到 搜索 引擎 是 很 好 的 测试 工具 ， 它 可 以 帮 
助 测试 人 员 快 速 了 解 产 品 信息 和 相关 知识 。 

口 情景 测试 。 他 们 构思 了 一 组 现实 情景 来 考验 产品 ， 如 产品 从 桌子 上 坠落 、 产 品 被 一 堆 杂 
物 压 住 、 产 品 被 液体 淋 湿 、 产 品 被 反复 锤 击 等 。 这 些 测试 对 产品 具有 一 定 的 破坏 性 ， 但 
反应 了 实际 可 能 遭遇 的 情况 。 

口 可 用 性 测试 。 他 们 把 玩 产 品 ， 体 验 其 触感 ， 聆 听 其 声音 。 通 过 测试 结果 评估 ， 获 得 了 对 

产品 的 第 一 手印 象 。 

口 压力 测试 。James Bach 使 用 铁 锤 强力 斋 击 产品 ， 最 终 将 其 外 壳 击 碎 。 


在 测 程 中 ，James 兄 弟 使 用 了 多 种 测试 方法 ， 从 多 个 角度 侦察 产品 ， 获 得 多 个 方面 的 信息 。 
多 样 化 的 测试 不 但 较 全 面 地 评估 了 系统 ,还 帮助 他 们 机 动 地 应 对 新 信息 ， 以 驱动 深入 的 调查 。 这 
提示 测试 人 员 应 该 掌握 多 样 化 的 测试 技术 , 并 勤 加 练习 ， 以 实施 灵活 高 效 的 测试 ， 从 而 在 短 时 间 
内 获得 更 多 的 测试 结果 。 


不 同 的 研究 任务 需要 不 同 的 研究 策略 。 当 测试 人 员 加 入 一 个 项 目 , 他 需要 尽快 了 解 产 品 的 基 
本 情况 。 因 此 ， 其 研究 策略 倾向 于 运用 多 种 测试 技术 ,以 实施 广泛 的 调查 。 典 型 的 调查 成 果 包 括 
产品 的 功能 列表 ( 梳理 产品 的 功能 )、 组 成 结构 (了解 产品 部 件 及 其 协作 关系 )、 实 现 技 术 ( 推测 
产品 的 工作 机 制 和 输入 与 输出 模型 (知晓 如 何 控制 和 观察 软件 的 行为 入 缺陷 较 多 的 不 稳定 区 域 
(分 析 产 品 的 复杂 度 和 风险 ) 等 。 当 测试 人 员 已 经 融入 项 目 团 队 ， 他 的 研究 任务 往往 是 获得 一 个 
新 功能 或 新 修复 的 情报 , 从 而 周密 地 设计 测试 方案 。 这 时 , 其 研究 策略 倾向 于 专注 于 特定 的 功能 ， 
以 实施 深入 的 调查 。 典 型 的 调查 成 果 包 括 被 测 功能 的 输入 和 输出 、 与 被 测 功 能 协作 的 其 他 功能 、 
和 窗 盖 被 测 功能 的 用 户 情景 、 测 试想 法 列表 、 风 险 列表 等 。 
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方法 2: 结对 测试 


除了 独立 研究 , 测试 人 员 可 以 与 同事 结 成 测试 对 子 , 实施 结 对 测试 。 所 谓 结对 测试 是 指 两 位 
测试 人 员 并 排 而 坐 ， 使 用 同一 台 计算 机 进行 测试 [Kaner07]。 其 中 ， 一 位 测试 人 员 充 当 测 试 驱 动 
者 ,设计 并 执行 测试 用 例 ， 另 一 位 测试 人 员 从 事 测 试 辅助 活动 , 包括 观察 产品 细节 、 提 供 测试 想 
法 、 记 录 测 试 笔记 、 查 阅 参 考 资料 等 。 他 们 会 定期 交换 职责 ， 使 得 两 人 都 有 机 会 驱动 测试 。 


从 技术 调查 的 角度 , 结对 测试 有 助 于 产生 多 样 化 的 测试 想法 。 测 试 驱动 者 需要 向 结对 伙伴 解 
释 他 的 测试 想法 ,并 回答 同伴 对 产品 或 测试 的 疑问 。 该 过 程 能 够 自然 地 理 清 测试 思路 ,并 挖掘 出 
更 多 的 测试 机 会 。 通 过 交换 职责 , 来 自 不 同 测试 人 员 的 经 验 和 技巧 自然 融和 人 测试 过 程 ， 扩展 了 测 
试 的 视角 和 手段 。 与 此 同时 ,结对 伙伴 之 间 的 密切 交流 ， 可 以 启发 彼此 的 思路 ， 从 而 激发 出 更 多 
的 测试 灵感 。 


从 业务 研究 的 角度 ,结对 测试 可 以 帮助 测试 人 员 更 快 地 理解 产品 。 在 大 型 项 目 中 , 一 位 测试 
人 员 只 负责 产品 的 几 个 模块 ， 只 了 解 产品 的 一 部 分 业务 知识 。 为 了 有 效 地 测试 模块 之 间 的 交互 ， 
测试 小 组 需要 测试 人 员 通 力 协作 、 彼 此 辅助 。 结 对 测试 让 测试 人 员 分享 他 们 的 知识 ,并 通过 测试 
来 说 明知 识 如 何 应 用 于 测试 。 这 是 一 种 非常 有 益 的 团队 学 习 活 动 。 当 传授 者 向 伙伴 介绍 业务 知识 
和 产品 实现 ,他 会 梳理 自己 的 思路 ， 从 而 激发 出 更 多 的 测试 想法 。 同 时 ,学 习 者 会 提出 各 种 建议 
和 问题 ， 用 他 的 知识 和 经 验 来 增强 当前 测试 设计 。 于 是 ,结对 测试 综合 了 两 人 的 力量 , 会 发 现 一 
些 单 人 测试 不 能 发 现 的 缺陷 。 


方法 3: 组 队 测试 


除了 结对 测试 , 测试 小 组 还 可 以 考虑 组 队 测试 。 所 谓 组 队 测试 是 指 多 位 测试 人 员 使 用 一 台 计 
算 机 ， 共 同 测试 一 款 产品 。 在 大 型 软件 中 ,一 个 功能 很 可 能 与 多 个 功能 具有 协作 关系 。 有 些 协作 
关系 很 复杂 ， 有些 则 很 隐蔽 。 为 了 对 该 功能 实施 完整 的 集成 测试 , 测试 小 组 需要 集合 团队 的 力量 
来 群策群力 。 组 队 测试 是 一 种 有 益 的 集体 测试 活动 ,能 够 弥补 测试 负责 人 知识 上 的 不 足 ， 发 现 一 
两 个 测试 人 员 难 以 发 现 的 问题 。 其 常见 的 实施 方法 如 下 。 


口 功能 的 测试 负责 人 邀请 同事 参与 组 队 测试 会 议 。 典 型 的 受 邀 对 象 包 括 : 相关 功能 的 测试 
人 员 、 熟 悉 产品 的 测试 老将 、 对 产品 不 太 了 解 的 测试 新 人 等 。 邀 请 相关 测试 人 员 和 测试 
老将 是 为 了 获得 更 多 的 产品 知识 和 更 丰富 的 测试 想法 。 邀 请 测试 新 人 是 为 了 获得 “新 鲜 ” 
的 、 无 拘束 的 观点 ， 同 时 也 帮助 新 手 尽快 熟悉 产品 。 

口 测试 负责 人 预定 一 个 会 议 室 ,准备 好 两 台 计 算 机 和 投影 仪 。 一 台 计 算 机 负责 执行 测试 ， 
男 一 台 计 算 机 负责 记录 测试 笔记 。 投 影 仪 用 来 展示 测试 机 的 屏幕 ， 让 参与 者 都 可 以 看 到 
测试 执行 的 过 程 。 

O 在 会 议 中 ， 测 试 负责 人 执行 测试 ， 男 一 位 测试 人 员 记 录 测试 笔记 ， 其 他 参与 者 提供 测试 
用 例 。 在 测试 开始 之 前 ， 测 试 负责 人 介绍 被 测 功能 的 特性 ， 并 鼓励 参与 者 无 拘 无 束 地 提 

供 测试 想法 。 在 测试 中 ， 参 与 者 轮流 发 言 ， 提 供 测试 用 例 。 每 提出 一 个 测试 用 例 ， 测 试 
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负责 人 都 会 立即 执行 它 。 与 此 同时 ， 记 录 员 会 记录 所 发 现 的 缺陷 或 有 价值 的 信息 ， 以 避 
免 提出 想法 和 执行 测试 的 循环 被 信息 记录 打 断 。 如 果 参 与 者 对 被 测 功 能 有 疑问 ,测试 负 
责 人 应 该 立即 给 予 解答 ， 以 加 速 测 试 流程 。 
组 队 测 试 可 以 提出 多 样 化 的 测试 想法 。 因 为 不 同 的 测试 人 员 具 有 不 同 的 知识 和 技能 ， 所 
以 他 们 可 以 设计 出 丰富 多 样 的 测试 用 例 。 特 别 是 ， 相 关 功 能 的 测试 人 员 可 以 从 新 角度 设 
计 出 集成 测试 用 例 或 用 户 情 景 。 这 往往 会 发 现 测试 负责 人 难以 触发 的 缺陷 。 为 了 保证 测 
试想 法 的 多 样 性 ， 测 试 负责 人 要 避免 某 个 参与 者 不 停 地 发 言 ， 而 打击 了 其 他 人 的 积极 性 。 
在 执行 完 一 条 测试 用 例 后 ， 他 可 以 主动 询问 一 个 比较 安静 的 参与 者 ， 请 他 提供 想法 。 通 
常 ， 安 静 的 参与 者 已 经 对 问题 进行 了 一 段 时 间 的 深入 思考 ， 能 够 提高 很 好 的 测试 用 例 。 
口 组 队 测试 有 较 好 的 自 适应 性 。 当 测试 执行 发 现 一 个 缺陷 时 ， 参 与 者 会 受到 启发 ， 能 够 转 
绕 问 题 区 域 提出 一 系列 测试 想法 。 这 有 助 于 深入 调查 有 风险 的 领域 ， 发 据 出 更 多 的 缺陷 。 
不 过 ,测试 负责 人 要 避免 测试 设计 只 局 限 在 一 个 小 范围 中 。 在 一 段 时 间 的 深入 测试 后 ， 
他 需要 提醒 参与 者 : 除了 当前 的 区 域 ,还 有 哪些 重要 的 区 域 值得 测试 。 
在 会 后 ,测试 负责 人 和 记录 员 共 同 整理 测试 笔记 ， 并 提交 所 发 现 的 缺陷 。 然 后 ,测试 负 
责 人 总 结 组 队 测试 所 获得 的 知识 和 经 验 , 将 新 信息 补充 到 已 有 的 测试 模型 和 测试 文档 中 。 
最 后 ,测试 负责 人 发 送 测 试 报告 给 测试 经 理 和 参与 者 ， 总 结 所 发 现 的 缺陷 和 所 获得 的 知 
识 ， 并 感谢 大 家 的 参与 和 支持 。 

方法 4: 头脑 风暴 会 议 

男 一 种 与 组 队 测试 相似 的 团队 测试 活动 是 头脑 风 綦 会议。 为 了 更 好 地 测试 特定 对 象 , 测试 人 
员 邀 请 团队 成 员 参 加 会 议 , 通过 积极 思考 和 自由 发 言 ， 以 获得 测试 想法 和 潜在 风险 。 与 组 队 测 试 
相似 ,头脑 风暴 会 议 的 主 则 是 汇聚 团 队 的 知识 ,实施 更 周密 的 测试 。 不 同 点 在 于 , 组 队 测试 需要 
相对 稳定 的 测试 对 象 , 因此 通常 在 项 目 中 后 期 执行 ,头脑 风暴 会 议 一 般 不 执行 测试 ,因此 往往 在 
项 目前 期 、 测 试 对 象 尚 未 实现 时 举行 。 以 下 是 头脑 风暴 会 议 的 实施 要 点 。 


O 功能 的 测试 负责 人 邀请 同事 ( 包括 产品 经 理 、 程 序 员 等 ) 参加 会 议 。 与 组 队 测 试 相似 ， 
参与 者 的 知识 和 角色 应 该 差异 化 ， 以 便 从 多 个 方面 获得 测试 意见 。 

O 在 会 议 中 ,测试 负责 人 主持 会 议 ， 男 一 位 测试 人 员 记 录 参 与 者 的 建议 。 设 立 专 职 的 记录 
员 是 因为 记录 是 一 项 比较 繁重 的 工作 ， 主 持 人 兼职 记录 会 影响 他 掌控 会 议 过 程 。 

O 在 测试 开始 之 前 ， 测 试 负责 人 介绍 被 测 功能 的 特性 ， 并 鼓励 参与 者 根据 自己 的 知识 和 思 
考 提供 测试 想法 和 潜在 风险 。 

口 为 了 获得 多 样 化 的 想法 ， 测 试 负责 人 应 该 确保 每 个 参与 者 都 有 机 会 发 言 。 一 种 常见 的 做 
法 是 让 参与 者 轮流 发 言 ， 每 次 发 言 只 能 提出 一 个 想法 。 参 与 者 可 以 放弃 当前 的 发 言 机 会 ， 
但 不 能 一 次 提出 多 个 想法 。 经 过 几 轮 发 言 ， 会 议 可 以 捕获 到 大 部 分 重要 的 测试 想法 。 男 
一 种 做 法 是 让 参与 者 独立 地 写 下 5 个 测试 想法 ， 每 个 想法 写 在 一 张 即时 贴 上 。 然 后 ， 将 所 
有 即时 贴 粘 在 在 白板 上 。 测 试 负责 人 逐一 读 出 即时 贴 上 的 想法 ， 并 将 相似 想法 的 即时 贴 
归并 在 一 起 。 经 过 数 轮 提 议 , 会 议 可 以 获得 满 白 板 的 即时 贴 和 大 量 的 测试 想法 。 


口 


口 
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口 在 会 后 ， 测 试 负责 人 和 记录 员 共 同 整 理 测试 想法 。 然 后 ， 测 试 负责 人 归纳 总 结 获得 的 知 
识 ， 将 新 想法 写 入 测试 模型 和 测试 文档 中 。 最 后 ， 测 试 负责 人 向 测试 经 理 参与 者 发 送 会 
议 总 结 报告 ， 罗 列 获得 的 测试 想法 和 潜在 风险 ， 并 感谢 大 家 的 参与 和 文 持 。 

除了 发 现 软件 缺 陷 外 , 任何 测试 都 包含 学 习 和 研究 的 因素 。 有 时 ,为 了 更 好 地 掌握 产品 , W 


试 人 员 应 该 有 意识 地 提高 研究 性 活动 的 比重 ， 主 动 地 探索 并 记录 产品 和 业务 知识 。 此 外 , 与 团队 
成 员 协 作 、 集 合 团队 的 力量 能 够 更 有 效率 地 理解 大 型 产品 。 


7.3.4 利用 互联 网 资源 


互联 网 的 海量 信息 提供 了 软件 开发 的 知识 库 , 搜索 引擎 则 是 发 现 知识 的 重要 工具 。 人 恰当 地 利 
用 搜索 引擎 和 网 络 资源 , 测试 人 员 可 以 更 好 地 理解 产品 并 执行 测试 。 以 下 是 一 些 典型 的 利用 网 络 
资源 帮助 测试 的 情景 。 


情景 1; 利用 搜索 引擎 查找 技术 问题 的 线索 


互联 网 和 搜索 引擎 已 经 深刻 地 改变 了 软件 开发 的 习惯 。 以 往 ， 当 技术 人 员 遇 到 技术 困难 , 他 
常常 要 苦 苗 思索 ,并 尝试 不 同 的 解决 方法 。 如 今 , 他 可 以 在 互联 网 上 搜索 相似 的 问题 ,参考 他 人 
对 问题 的 分 析 和 解决 之 道 ， 从 而 快速 地 定位 问题 和 解决 问题 。 


例如 ， 测 试 人 员 在 Windows 操 作 系 统 上 安装 产品 时 ， 安 装 程序 报告 错误 ， 并 提供 了 错误 码 
1306。 他 在 搜索 引擎 上 查询 “windows installer error 1306”， 发 现 了 微软 描述 该 错误 的 页 面 2。 该 
页 面 指出 错误 1306 的 根源 是 目标 文件 正在 被 使 用 以 致 于 不 能 被 更 新 , 一 个 可 能 的 解决 方法 是 重启 
计算 机 。 于 是 , 测试 人 员 着 手 查找 被 使 用 的 文件 以 及 使 用 它 的 进程 , 并 将 重启 系统 作为 后 备 方案 。 
可 见 ， 灵活 地 使 用 搜索 引 警 可 以 快速 获得 新 知 ， 为 解决 技术 问题 提供 线索 。 


为 了 准确 地 得 到 问题 的 线索 ,测试 人 员 可 以 参考 以 下 搜索 技巧 。 


口 搜索 有 “辨识 度 ” 的 关键 词 。 为 了 获得 最 相关 的 信息 ， 测 试 人 员 应 该 准确 地 描述 问题 ， 
且 使 用 能 与 其 他 信息 相 区 别 的 关键 词 。 对 于 软件 问题 ， 有 辨识 度 的 关键 词 通常 来 自 错误 
码 、 错 误 消息 、 函 数 调 用 栈 、 所 使 用 的 技术 〈 平 台 、 语 言 、 库 ) 等 。 其 中 ， 错 误 码 和 错 
误 消 息 往 往 是 独一无二 的 , 用 它们 查询 可 以 立即 发 现 相关 资料 。 例如 , 在 C#、 Java, Python 
等 语言 中 ,异常 的 类 名 和 消息 是 很 好 的 搜索 词组 ; 对 于 Windows 的 报错 对 话 框 , 它 提供 的 
错误 码 和 错误 消息 是 有 帮助 的 搜索 词组 。 
O 当 查 询 失 败 时 ， 尝 试 新 的 关键 词组 合 。 在 许多 时 候 ， 前 几 次 查询 并 不 能 提供 答案 。 此 时 ， 
测试 人 员 应 该 考虑 重 整 查询 思路 ， 并 更 换 搜 索 关 键 词 。 他 可 以 自问 : 当前 技术 问题 的 外 
在 表现 是 什么 ?其 独 有 的 特征 是 什么 ”然后 ， 写 下 一 两 句 话 ， 以 精 要 地 描述 该 问题 的 表 


O http://msdn.microsoft.com/en-us/library/windows/desktop/aa372835(v=vs.85).aspx o 
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象 和 特征 。 接 着 ,他 从 描述 中 抽取 出 若干 关键 词 ， 以 进行 搜索 。 如 果 搜 索 结果 仍 不 能 提 
供 答案 ， 他 可 以 使 用 关键 词 的 同义词 或 近义词 ， 再 做 查询 。 有 时 ， 测 试 人 员 需 要 尝试 几 
种 对 问题 的 描述 和 几 套 关键 词 ， 才 能 找到 准确 的 答案 。 

口 使 用 英文 关键 词 进行 搜索 。 对 于 部 分 技术 问题 ， 只 有 英文 资料 提供 了 线索 ， 所 以 必须 使 
用 英文 关键 词 进行 查询 。 这 要 求 测试 人 员 能 够 用 英文 描述 问题 ,并 了 解 相应 的 英文 术语 。 
为 了 储备 相应 的 英语 能 力 ， 测 试 人 员 可 以 尝试 着 阅读 英文 技术 文档 和 英文 技术 博客 。 久 
而 久之 ， 他 便 了 解 技术 领域 的 术语 和 惯用 表达 方法 。 这 不 但 有 助 于 使 用 英文 进行 搜索 ， 
还 是 很 好 的 技术 储备 方法 。 


情景 2: 通过 技术 支持 论坛 等 工具 获得 用 户 反 馈 


为 了 向 用 户 提供 便捷 的 技术 支持 , 许多 软件 企业 准备 了 产品 论坛 、 邮 件 组 、 即 时 通讯 软件 等 
沟通 渠道 。 测 试 小 组 可 以 安排 测试 人 员 利 用 这 些 渠 道 , 收集 用 户 提出 的 建议 , 并 回答 他 们 的 问题 。 
从 测试 的 角度 ， 这 样 做 有 多 方面 的 好 处 。 


首先 , 这 有 助 于 培养 全 员 质 量 意识 。 测试 小 组 应 该 安排 每 一 位 测试 人 员 ( 包括 测试 经 理 在 内 ) 
参与 技术 支持 ， 让 所 有 人 与 用 户 接触 ， 了 解 他 们 的 需求 并 解决 他 们 的 困难 。 这 有 助 于 测试 小 组 切 
身体 会 用 户 的 感受 ， 了 解 产 品 的 优点 和 不 足 ， 从 而 逐渐 培养 出 团队 的 质量 意识 。 在 具体 实施 上 ， 
测试 小 组 可 以 安排 一 位 测试 人 员 负 责 一 个 沟通 渠道 ， 每 个 月 轮换 一 次 。 该 测试 人 员 每 周 用 5 个 小 
时 (平均 每 个 工作 日 1 小 时 ) 来 收集 并 处 理 用 户 反 馈 ， 并 在 月 未 发送 当月 的 总 结 报告 ， 概 述 用 户 
遭遇 的 问题 、 提 出 的 建议 、 使 用 软件 的 情景 等 信息 。 


第 二 ,分 析 用 户 问题 可 以 获得 缺陷 的 第 一 手 资料 。 在 处 理 一 个 具体 的 问题 时 ,测试 人 员 可 以 
按 以 下 步 又 进行 调查 。 


O 首先 ， 测 试 人 员 需 要 判断 用 户 提交 的 问题 是 不 是 产品 缺陷 。 有 时 ， 所 提交 的 问题 并 不 是 
软件 缺陷 引起 的 。 例 如 ， 用 户 不 熟悉 产品 的 特性 ， 错 误 地 操作 了 软件 ， 导 致 业务 流程 失 
败 。 又 例如 ， 产 品 受到 运行 环境 的 限制 ， 没 有 足够 的 资源 完成 用 户 任务 。 对 于 这 些 情 况 ， 
测试 人 员 应 该 向 用 户 解释 问题 的 根源 ， 并 提出 可 能 的 解决 方案 。 

O 如 果 问 题 是 软件 缺陷 引起 的 ， 测 试 人 员 需 要 查询 缺陷 数据 库 ， 以 判断 这 是 不 是 一 个 已 知 
的 缺陷 。 有 些 缺 陷 因为 难以 复 现 ， 被 解决 为 “不 能 复 现 "。 如 果 用 户 在 他 的 环境 中 复 现 了 
缺陷 ,测试 人 员 应 该 通过 邮件 、 即 时 通讯 软件 等 工具 与 用 户 直接 联系 ， 了 解 他 使 用 产品 
的 环境 和 情景 ， 为 复 现 并 修复 缺陷 搜集 信息 。 此 外 ， 有 些 缺 陷 未 被 修复 的 原因 是 研发 团 
队 认 为 它们 不 够 重要 ， 不 值得 修复 。 如 果 用 户 发 现 了 某 个 “不 被 修复 ”的 缺陷 ， 并 认为 
它 导致 了 严重 的 问题 ， 那 么 测试 人 员 应 该 重新 激活 该 缺陷 ， 并 报告 用 户 的 使 用 情景 和 主 
观感 受 。 他 的 目标 是 通过 补充 更 多 的 信息 ， 让 缺陷 得 到 更 全 面 的 考虑 ， 从 而 得 到 恰当 的 
修复 。 

O 如 果 问 题 是 一 个 未 知 缺 陷 引起 的 ， 测 试 人 员 应 该 与 用 户 联系 ， 了 解 他 使 用 产品 的 环境 和 
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情景 ， 然 后 尝试 着 在 测试 环境 中 复 现 该 缺陷 。 无 论 缺 陷 是 否 在 测试 环境 中 复 现 ， 测 试 人 
员 都 应 该 提交 缺陷 报告 ， 并 详细 痔 述 已 知 的 信息 ， 包 括 用 户 发 现 缺陷 的 环境 和 使 用 情景 、 
缺陷 对 用 户 的 影响 、 为 复 现 缺陷 进行 的 实验 及 实验 结果 等 。 


在 以 上 缺陷 调查 过 程 中 , 测试 人 员 应 该 主动 地 与 用 户 联系 , 感谢 他 们 提交 问题 , 并 竭尽 所 能 
为 他 们 服务 。 如 果 某 个 缺陷 不 能 在 短期 内 修复 , 测试 人 员 可 以 提出 一 些 缓解 方案 , 帮助 用 户 绕 开 
该 问题 。 


此 外 , 技术 文 持 的 过 程 还 可 以 暴露 产品 在 故障 诊断 上 的 不 足 。 有 些 产品 在 用 户 许可 的 情况 下 ， 
能 够 自动 收集 并 提交 计算 机 的 配置 信息 、 引 发 故障 的 调用 栈 、 产 品 进程 的 微型 内 存 转 储 文件 等 资 
料 。 这 显著 提高 了 故障 诊断 和 技术 支持 的 效率 。 然而, 许多 产品 的 初始 设计 并 没有 考虑 故障 诊断 
的 需求 。 对 此 ,测试 人 员 可 以 分 析 技 术 支 持 的 历史 资料 ， 结 合 切 身 经 验 ， 提 出 故障 诊断 的 需求 ， 
并 给 出 每 项 需求 的 优先 级 。 这 有 助 于 项 目 团 队 从 运 维 的 角度 思考 产品 ， 以 做 出 相应 的 设计 。 


第 三 , 技术 支持 活动 能 够 帮助 测试 人 员 了 解 用 户 使 用 软件 的 情景 。 对 于 一 款 被 广泛 使 用 的 软 
1, 其 用 户 类 型 具有 很 大 的 差异 性 。 不 同 的 用 户 为 了 完成 其 任务 , 会 构思 出 不 同 的 解决 方案 , 用 
多 种 多 样 的 方式 使 用 产品 。 其 中 一 些 使 用 情景 是 项 目 团 队 在 设计 产品 时 没有 想到 的 。 所 以 ,阅读 
用 户 问题 总 是 能 收集 到 一 批 “ 别 出 心 裁 ”的 使 用 情景 。 通 过 分 析 这 些 新 的 用 户 情景 ， 测试 人 员 可 
以 更 好 地 理解 用 户 的 差异 性 ， 并 为 情景 测试 积累 真实 的 素材 。 


情景 3: 多 方面 地 收集 用 户 对 产品 的 评论 


随 着 互联 网 的 快速 发 展 , 用 户 会 在 形形色色 的 网 站 上 发 表 自己 对 产品 的 疑问 和 见解 。 测 试 小 
组 可 以 定期 收集 并 分 析 各 方 对 产品 的 评价 ， 从 而 更 好 地 了 解 产品 在 用 户 情景 中 表现 了 哪些 优点 ， 
又 暴露 了 哪些 不 足 。 以 下 是 一 些 常 见 的 用 户 评论 的 信息 源 。 


O 论坛 。 除 了 开发 方 提供 的 产品 论坛 ， 产 品 的 热心 用 户 可 能 组 建 独立 的 论坛 ， 证 用 户 社区 
自由 地 讨论 各 种 话题 。 随 着 社区 的 发 展 ， 论 坛 会 聚集 一 批 资 深 用 户 ， 他 们 拥有 丰富 的 产 
品 知识 和 使 用 经 验 ， 不 但 能 够 回答 新 手提 出 的 问题 ， 还 能 够 为 产品 发 展 提供 有 价值 的 观 
点 。 测 试 小 组 可 以 将 此 类 论坛 视 为 官方 论坛 的 延伸 ， 定 期 地 收集 和 分 析 有 价值 的 帖子 ， 
以 发 现 产品 缺陷 、 评 估 产 品 优 缺 点 、 识 别 用 户 情景 。 

口 博客 。 一 些 资深 用 户 会 开设 博客 ,发 表 他 使 用 产品 的 经 验 和 技巧 ， 并 点 评 产 品 的 优 缺 点 。 

测试 人 员 可 以 订阅 一 些 质量 比较 好 的 博客 ， 坚 持 阅 读 ， 以 积累 产品 知识 ， 并 掌握 更 多 使 
用 产品 的 方法 。 在 测试 活动 中 ， 这 些 新 知 能 够 激发 测试 灵感 、 提 高 测试 的 多 样 性 。 此 外 ， 
它们 也 是 “博客 漫游 ”( 参见 5.4.2 节 ) 的 基本 素材 。 

口 问答 网 站 。 有 些 用 户 在 遇 到 产品 问题 时 ， 会 使 用 问答 网 站 或 微 博 来 征求 解答 。 测 试 人 员 
可 以 利用 此 类 网 站 提供 的 搜索 功能 ， 获 得 用 户 提出 的 问题 和 相应 的 解答 。 那 些 拥 有 众多 
评论 和 “赞同 ”的 问题 往往 体现 了 用 户 的 常见 需求 和 疑问 。 它 们 是 产品 设计 和 测试 设计 
值得 参考 的 信息 。 
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O 媒体 评论 。 在 新 产品 发 布 后 ， 一 些 媒体 会 测试 产品 ， 并 发 表 评 测 文章 或 评测 视频 。 这 些 
评论 对 于 产品 的 推广 有 潜在 、 甚 至 巨大 的 影响 ， 产 品 团 队 需 要 了 予以 相应 的 重视 。 测 试 人 
员 应 该 收集 相关 评论 (包括 对 竞争 产品 的 评论 )， 了解 评论 者 从 哪些 方面 考察 软件 ， 用 何 
种 方法 和 工具 来 具体 评价 产品 的 表现 。 这 些 信息 是 “评论 者 漫游 ”和 “竞争 者 漫游 ”( 参 
见 5.4.2 节 ) 的 参考 资料 ， 能 帮助 测试 人 员 从 评论 者 的 角度 来 测试 软件 ， 以 发 现 不 良 设 计 
对 软件 价值 的 伤害 。 在 开发 过 程 中 发 现 此 类 设计 缺陷 ， 使 研发 团队 有 资源 修复 问题 ， 从 
而 避免 产品 发 布 后 立即 暴露 在 猛烈 的 批评 中 。 
互联 网 的 信息 浩如烟海 ， 是 无 法 穷尽 的 。 高 效 的 测试 人 员 会 灵活 地 运用 搜索 引擎 等 工具 , 快 
速 地 获取 有 价值 的 资料 , 为 测试 设计 和 产品 发 展 提供 支持 。 该 探索 过 程 需 要 以 明确 的 目标 作为 指 
引 ， 以 便 让 投入 的 时 间 获 得 切实 的 回报 。 


7.3.5 ”领域 研究 


通常 ,软件 产品 的 任务 是 帮助 用 户 解决 特定 领域 的 问题 ,辅助 他 们 实现 业务 目标 。 如 果 它 不 
能 完成 领域 任务 、 不 能 解决 领域 问题 , 无论 它 在 其 他 方面 如 何 优 秀 ， 都 无 法 逃脱 失败 的 结局 。 为 
了 有 效 地 发 现 此 类 问题 , 测试 人 员 需 要 深入 学 习 业 务 领域 的 知识 。 例如， 照片 美化 软件 的 测试 人 
员 应 该 学 习 图 像 处 理 的 知识 , 文字 处 理 软件 的 测试 人 员 应 该 学 习 排 版 知识 , 财务 软件 的 测试 人 员 
应 该 学 习 财 会 知识 。 这 不 但 有 助 于 发 现 严重 的 设计 缺陷 , 还 可 以 发 现 一 些 领域 专家 才能 识别 的 细 
节 问 题 。 


与 需求 评审 相似 , 测试 人 员 需 要 用 明确 的 目标 来 驱动 领域 研究 。 否则 , 他 可 能 花费 了 大 量 的 
时 间 , 却 没有 获得 对 测试 活动 有 价值 的 成 果 。 一 般 说 来 , 领域 研究 的 目标 是 获得 产品 相关 的 领域 
模型 。 该 模型 可 以 连接 产品 团队 和 领域 专家 ,并 指导 测试 小 组 实施 业务 相关 的 测试 。 虽然 不 同 的 
产品 拥有 过 蜡 的 领域 模型 , 但 是 典型 的 模型 会 包含 业务 领域 的 基本 概念 , 能够 表达 产品 的 业务 目 
标 ， 以 及 达成 目标 的 技术 方案 和 约束 条 件 。 


首先 , 测试 人 员 需 要 掌握 基本 的 领域 概念 和 术语 。 当 领域 专家 相互 交谈 时 , 他们 会 使 用 大 量 
的 术语 来 表达 领域 的 专属 概念 ， 即 使 用 所 谓 的 “ 行 话 ”来 提高 交流 的 效率 。 在 日 常 工作 中 ,研发 
团队 的 成 员 也 应 该 掌握 并 使 用 领域 术语 。 这 让 产品 经 理 、 程 序 员 、 测 试 人 员 、 领 域 专 家 等 项 目 关 
系 人 能 够 高 效 地 交流 ， 并 为 进一步 的 领域 研究 黄 定 基础 。 

当 研 究 一 个 新 领域 时 ， 以 维基 百科 为 代表 的 在 线 百 科 全 书 是 很 好 的 起 点 。 测 试 人 员 可 以 从 一 
个 最 核心 的 领域 术语 开始 , 阅读 它 的 定义 ,并 利用 页 面 上 相关 术语 和 参考 文献 的 链接 进一步 阅读 
相关 资料 。 因 为 时 间 有 限 ， 测 试 人 员 不 能 穷尽 所 有 的 术语 和 资料 ， 所 以 他 需要 有 选择 地 阅读 。 

与 测 程 〈《 参 见 3.2.13 节 ) 相似 ， 他 可 以 设 定 一 个 时 间 盒 〈60 到 120 分 钟 )， 在 此 期 间 专 心 致 志 
地 阅读 在 线 百科 的 词 条 和 参考 文献 。 在 阅读 过 程 中 ， 他 循环 执行 批判 性 阅读 的 基本 步骤 : 结构 、 
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主张 、 评 估 (参见 7.3.2 节 )。 首 先 ， 他 扫描 词 条 全 文 ， 阅 读 摘要 、 标 题 和 图 表 ， 以 理解 术语 的 基 
本 含义 ,并 掌握 全 文 结构 。 然 后 , 他 直接 跳 到 感 兴趣 的 段落 进行 阅读 ， 并 将 有 价值 的 信息 摘录 到 
研究 笔记 中 。 接 着, 他 评估 当前 的 研究 进展 ， 以 确定 是 深入 研究 该 术语 对 应 的 概念 ( 阅读 词 条 所 
列举 的 参考 文献 ), 还 是 拓宽 研究 范围 ( 阅读 当前 词 条 的 相关 词 条 )。 随后 , 他 开始 对 下 一 篇 文章 
进行 批判 性 阅读 。 在 时 间 盒 内 , 测试 人 员 应 该 高 速 阅读 , 浏览 尽 可 能 多 的 词 条 和 文献 。 其 目标 不 
是 深入 理解 一 两 个 术语 ， 而 是 掌握 领域 的 基本 人 情况， 为 后 续 的 研究 葛 定 宽泛 的 基础 。 


在 时 间 盒 结束 后 ,测试 人 员 需 要 整理 研究 笔记 ,将 原先 零散 记录 的 术语 、 定 义 和 摘 述 ， 组 织 
成 相互 联系 的 概念 体系 。 之 后 , 他 可 以 将 笔记 分 享 给 领域 专家 和 测试 伙伴 ,并 与 他 们 一 起 讨论 研 
究 成 果 。 在 讨论 中 , 领域 专家 和 资深 同事 可 以 提供 更 多 的 信息 ， 帮 助 测试 人 员 更 快 地 掌握 领域 知 
识 的 要 点 ， 并 纠正 一 些 误解 。 


在 掌握 基本 概念 之 后 , 测试 人 员 需 要 了 解 产 品 所 服务 的 业务 目标 。 业务 目标 研究 和 需求 分 析 
很 相似 ,都 需要 理解 用 户 获得 业务 成 功 必须 达到 的 目标 ， 都 通过 用 户 访谈 、 市 场 调 查 、 文 献 阅读 
等 手段 来 收集 信息 和 产生 结论 。 其 区 别 在 于 , 需求 分 析 着 重 考 虑 当前 产品 的 功能 和 范围 ,研究 计 
算 机 和 软件 如 何 帮助 用 户 ; 业务 目标 研究 则 偏重 于 业务 本 身 , 挖掘 用 户 的 使 命 和 任务 ， 而 不 刻意 
地 思考 具体 的 工作 是 由 产品 完成 、 还 是 由 用 户 或 其 他 工具 完成 。 


对 于 测试 人 员 而 言 ， 业 务 目 标的 研究 成 果 可 以 是 一 组 用 户 角色 ( 参见 5.6.2 节 )。 一 个 用 户 角 
色 是 一 个 具体 的 人 物 , 但 是 他 (她 ) 刻画 了 一 类 用 户 的 共性 特征 ,描述 了 他 们 的 共同 目标 。 利 用 
用 户 角色 , 测试 人 员 可 以 更 好 地 理解 产品 的 使 命 ， 并 为 情景 测试 提供 基本 素材 。 他 针对 每 个 用 户 
角色 ， 进 一 步 列 出 产品 为 他 (她 ) 提供 的 核心 功能 和 质量 特性 ， 从 而 将 用 户 的 业务 目标 和 产品 的 
能 力 联系 起 来 。 


在 知晓 业务 目标 之 后 ， 测 试 人 员 需 要 学 习 达 成 业务 目标 的 技术 方法 。 例 如 ， 照 片 美化 软件 的 
测试 人 员 针 对 图 片 的 “色彩 调节 ”功能 , 需要 学 习 一 些 图 像 处 理 知 识 , 包括 图 片 的 文件 格式 、 图 
片 的 主要 属性 ( 尺寸 、 分辨 率 、 色 深 等 )、 图 片 在 内 存 中 的 数据 格式 "、 色 彩 编码 、 色 彩 变 换算 法 
等 。 在 掌握 了 这 些 领 域 知识 后 , 测试 人 员 可 以 更 好 地 理解 产品 设计 , 并 设计 有 针对 性 的 测试 用 例 。 
从 长 远 看 , 测试 人 员 通 过 持续 学 习 , 能 逐渐 成 长 为 领域 专家 。 他 的 领域 知识 让 他 可 以 有 效 地 测试 
该 领域 的 大 部 分 软件 。 


为 了 学 习 具 体 的 技术 方法 ,测试 人 员 需 要 钻研 一 些 领域 专车 和 文献 资料 。 起 初 , 他 可 以 请 领 
域 专家 或 资深 同事 推荐 一 些 文献 。 随 着 研究 的 深入 , 他 可 以 根据 工作 需要 和 自身 兴趣 ,搜索 并 学 
习 更 多 的 资料 。 通常 ,测试 人 员 不 可 能 脱离 工作 来 进行 长 时 间 的 学 习 。 因 此 ,注重 实效 的 测试 人 
员 会 在 整个 项 目 过 程 中 利用 空闲 时 间 持 续 学 习 , 根据 产品 的 发 展 和 测试 的 需求 , 逐步 丰富 自己 的 


D 大 多 数 图 像 处 理 软件 支持 编辑 多 种 格式 的 图 片 文件 。 当 读 取 图 片 文件 时 ， 它 会 将 不 同 的 图 片 格式 转化 为 一 种 统一 
的 格式 ， 并 保存 在 内 存 中 。 当 用 户 编辑 图 片 时 ， 软 件 会 根据 用 户 命令 对 内 存 中 的 数据 进行 计算 和 修改 。 当 用 户 保 
存 或 导出 图 片 时 ， 软 件 会 将 内 存 中 的 数据 编码 为 用 户 指定 的 图 片 格式 ， 并 写 和 人 外 部 存储 器 。 
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领域 研究 是 为 了 更 好 地 测试 。 在 学 习 技 术 方 法 的 同时 ， 测 试 人 员 应 该 从 测试 角度 收集 信息 ， 
为 测试 设计 提供 支持 。 以 下 是 一 些 常见 的 研究 结果 。 


O 约束 规则 。 许 多 领域 拥有 定律 、 规 则 和 法 条 ， 它 们 对 领域 对 象 产生 了 强制 约束 。 例 如 ， 
物体 运动 应 该 符合 “能 量 守 恒定 律 *，JEPG 图 片 编码 需要 遵循 国际 标准 ， 财 会 工作 必须 遵 
守 国 家 法 律 法 规 等 。 测 试 人 员 应 该 收集 领域 中 的 约束 规则 ， 将 它们 作为 测试 想法 和 测试 
先知 的 参考 资料 。 

口 潜在 风险 。 在 阅读 资料 时 ， 如 果 测 试 人 员 感 觉 某 些 主题 艰深 难 懂 ， 他 应 该 提醒 自己 ， 产 
品 经 理 和 程序 员 在 处 理 该 主题 时 也 会 感到 困惑 。 如 果 他 们 不 能 很 好 地 应 对 领域 复杂 性 ， 
其 设计 和 实现 很 可 能 包含 错误 。 测 试 人 员 应 该 将 复杂 性 高 的 主题 记录 为 风险 项 ， 并 在 今 
后 的 测试 中 予以 重点 关注 。 除 了 复杂 性 ,测试 人 员 还 需要 留意 其 他 挑战 产品 的 因素 。 例 
如 ,严谨 的 学 术 文献 在 讨论 一 种 技术 时 ， 不 但 会 介绍 它 的 优点 ， 还 会 中 肯 地 讨论 其 缺点 。 
当 项 目 团队 选择 一 个 特定 的 技术 ， 它 的 已 知 缺点 应 该 被 记录 为 风险 项 ， 在 开发 和 测试 过 
程 中 予以 监控 。 

口 测试 模型 。 与 需求 评审 相似 ， 测 试 人 员 应 该 重新 组 织 他 学 到 的 知识 ， 形 成 面向 测试 的 模 
型 。 好 的 模型 能 够 精炼 地 表达 领域 本 质 ， 为 测试 设计 和 测试 执行 提供 有 力 支持 。 


综 上 所 述 , 领域 研究 要 求 测试 人 员 持 续 付 出 时 间 和 努力 ， 并 将 研究 成 果 应 用 于 测试 实践 。 其 
回报 也 是 丰厚 的 。 千 握 领 域 知识 的 测试 人 员 能 够 自如 地 与 产品 关系 人 ( 领域 专家 、 软 件 用 户 、 程 
ERE) 讨论 产品 和 业务 ， 尽 早 发 现 需求 分 析 和 软件 设计 中 的 缺陷 ， 并 设计 出 更 具 威 力 的 测试 ， 
发 现 简单 测试 不 能 暴露 的 问题 。 
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7.4 研究 策略 


本 章 已 经 介绍 了 项 态 分 析 、 动 态 分 析 、 关 系 人 研究 、 需 求 评 审 、 测 试 调查 、 网 络 调 研 、 领 域 
研究 等 研究 产品 的 方法 。 在 实践 这 些 方法 的 过 程 中 ， 有 两 个 要 点 值得 测试 人 员 注 意 。 


第 一 , 测试 人 员 需 要 综合 运用 多 种 研究 方法 , 才能 全 面 地 理解 产品 。 不同 的 方法 从 不 同 的 角 
度 调查 产品 ,它们 所 提供 的 信息 相互 补充 ， 而 非 彼 此 替代 。 在 测试 活动 中 ， 有 经 验 的 测试 人 员 会 
交替 使 用 多 种 研究 方法 ,让 它们 彼此 支持 、 相 互 驱动 ， 从 而 获得 深入 的 调查 结果 。 例如， 他 浏览 
业务 相关 文献 ， 获 得 了 一 组 测试 想法 。 为 了 检验 想法 的 有 效 性 ,他 阅读 产品 的 源 代码 ， 以 过 滤 掉 
无 效 的 想法 ,并 将 有 效 的 想法 细 化 为 一 组 测试 用 例 。 在 测试 执行 时 , 他 使 用 调试 带 等 工具 分 析 产 
品 的 动态 行为 。 在 工具 的 帮助 下 ,他 发 现 了 一 些 产 品 缺陷 ， 并 对 产品 设计 产生 了 新 的 疑问 。 为 了 
解除 困惑 ， 他 又 去 查阅 需求 文档 和 领域 资料 ， 以 求 获得 更 多 的 线索 。 


第 二 ， 产 品 研究 会 贯穿 整个 项 目 过 程 。 在 软件 项 目 中 ， 并 没有 泾 渭 分 明 的 “研究 调查 阶段 ” 
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7.5 小 结 


和 “实践 应 用 阶段 ”， 产 品 研究 和 测试 实践 总 是 并 行 实施 。 产 品 演化 会 提出 新 的 测试 任务 ， 新 的 
任务 将 驱动 新 的 研究 活动 , 新 的 研究 成 果 会 指导 新 一 轮 的 测试 ,而 新 的 测试 结果 提供 了 更 多 的 研 
究 素 材 。 高效 的 测试 人 员 会 充分 利用 测试 的 迭代 过 程 , 以 测试 任务 为 指引 , 通过 注重 实效 的 研究 ， 
逐步 积累 产品 和 领域 知识 。 他 知道 掌握 知识 的 根本 方法 是 并 发 地 实施 测试 相关 学 习 、 测 试 设计 、 
测试 执行 和 测试 评估 , 让 它们 成 为 相互 支持 的 活动 。 理 论 和 想法 需要 进 过 实践 的 考验 和 修正 才能 
真正 发 挥 作用 。 


7.5 小结 
本 章 讨 论 了 如 何 从 测试 的 角度 来 研究 产品 和 业务 ， 介 绍 了 一 些 实践 方法 。 


口 静态 分 析 通 过 阅读 产品 代码 ， 来 理解 产品 实现 和 代码 变更 。 

O 对 于 复杂 产品 的 理解 ， 静态 分 析 的 典型 策略 是 概览 源 代码 树 ， 了 人 解 目 录 结 构 、 模 块 划分 、 
代码 分 布 等 基本 情况 ， 然 后 细 读 一 部 分 重要 代码 来 以 点 带 面 。 

影响 分 析 和 传播 分 析 是 审阅 局 部 代码 并 产生 测试 想法 的 常见 技术 。 

黑 盒 测 试 并 不 是 基于 无 知 的 测试 。 

口 动态 分 析 通 过 运行 软件 来 研究 产品 的 关键 情景 和 重要 设计 。 

口 灵活 使 用 包括 调试 器 在 内 的 动态 分 析 工 具 将 显著 提高 测试 效率 。 

口 测试 人 员 需 要 识别 重要 关系 人 ， 理 解 其 目标 、 使 命 和 任务 。 

口 内 部 使 用 是 一 项 很 有 价值 的 开发 实践 ， 但 它 不 能 覆盖 所 有 用 户 类 型 。 

口 测试 人 员 需 要 批判 性 地 阅读 产品 相关 文档 。 典 型 的 文档 评审 结果 包括 : 文档 缺陷 、 测 试 
模型 、 测 试想 法 和 需要 调查 的 问题 。 

口 软件 测试 本 身 就 是 一 种 研究 产品 的 方法 。 侦 察 测 程 、 结 对 测试 、 组 队 测 试 、 头 脑 风暴 会 
议 能 够 帮助 测试 人 员 更 好 地 了 解 产品 。 

O 互联 网 提供 了 海量 的 测试 信息 ， 搜 索引 擎 是 发 现 知识 的 重要 工具 。 

口 测试 人 员 需 要 学 习 领 域 概念 、 业 务 术语 、 业 务 目标 和 技术 方法 ， 以 实施 更 深入 的 测试 。 
口 综合 运用 多 种 研究 方法 ， 才 能 全 面 地 理解 产品 。 

口 测试 相关 学 习 、 测 试 设计 、 测 试 执行 和 测试 评估 是 相互 支持 的 并 发 活动 。 


口 “ 口 
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在 启发 式 测试 策略 模型 HTSM ( 4.2.1 节 ) 中 ， 产 品 元 素 、 项 目 环境 、 质 量 标准 和 测试 技术 是 
测试 人 员 思 考 测试 策略 的 基本 要 素 。 本 书 之 前 的 章节 讨论 了 测试 技术 、 质 量 标准 和 产品 元 素 ,本 
章 将 讨论 项 目 环境 。 

软件 项 目 是 一 个 内 涵 丰 富 的 主题 ,相关 著 作 可 谓 汗 牛 充 栋 。 基 于 本 书 的 主 关 ,本 章 只 从 测试 
人 员 的 角度 来 考察 软件 项 目 ， 目 标 是 为 测试 活动 提供 更 多 的 信息 。 具 体内 容 包括 项 目 团队 、 项 目 
分 析 和 基于 风险 的 测试 。 


8.1 MEAM 


软件 项 目的 主体 是 项 目 团 队 ,， 他 们 创造 了 令 人 赞叹 的 功能 , 也 引入 了 让 人 和 恼怒 的 缺陷 。 团 队 
的 人 员 构 成 、 组 织 结构 、 运 作 机 制 将 深远 地 影响 软件 的 质量 。 语 境 驱动 测试 认为 “人 , 团队 协作 ， 
是 项 目 语 境 中 最 重要 的 部 分 ”[ContextDrvienTesting12]。 因 此 ， 测 试 人 员 需 要 了 解 项 目 团 队 的 成 
B, 并 知晓 团队 的 运作 方式 。 只 有 如 此 , 测试 人 员 才 能 有 效 地 运用 测试 资源 ,为 团队 提供 高 质量 
的 测试 服务 。 


8.1.1 了 解 团队 组 织 


在 加 入 一 个 新 团队 后 , 测试 人 员 应 该 主动 了 解 项 目 团 队 的 使 命 、 目 标 和 运作 方式 。 这 将 帮助 
他 理解 自己 的 职责 ， 从 而 更 好 地 执行 测试 任务 。 以 下 是 一 些 值得 思考 的 问题 。 


口 大 型 项 目 往 往 由 多 个 团队 共同 完成 ， 测 试 人 员 需 要 掌握 团队 之 间 的 协作 关系 。 


m 测试 人 员 所 处 的 项 目 团队 负责 哪些 工作 ? 

m 当前 团队 有 哪些 伙伴 团队 ? 哪些 是 上 游 团队 ? 哪些 是 下 游 团 队 ? 

m 当前 团队 与 伙伴 团队 有 哪些 具体 的 依赖 关系 ? 

m 相互 依赖 的 团队 如 何 协 同 工 作 ? 他们 对 于 合作 的 内 容 和 方式 有 哪些 共识 ? 

m 对 于 测试 人 员 而 言 ， 他 需要 为 哪些 团队 提供 哪些 服务 ?其 他 团队 又 会 通过 什么 方式 向 
他 提供 支持 ? 


8.1 项 目 团队 


口 测试 人 员 应 该 掌握 团队 的 人 员 组 成 和 角色 职责 。 


m 对 于 当前 团队 ， 产 品 经 理 小 组 、 编 程 小 组 、 测 试 小 组 各 负 什 么 责任 ?落实 到 个 人 , 产 
品 经 理 、 程 序 员 、 测 试 人 员 各 负 什 么 责任 ? 

a 在 当前 团队 中 ,产品 经 理 、 程 序 员 、 测 试 人 员 如 何 协 同 工 作 ? 他 们 对 于 合作 的 内 容 和 
方式 有 哪些 共识 ? 产品 经 理 对 测试 人 员 的 测试 服务 有 何 期 望 ? 程序 员 对 测试 人 员 的 测 
试 服务 有 何 期 望 ? 

mw 如 果 工 作 中 出 现 了 意见 分 歧 ， 通 过 哪些 渠道 可 以 解决 分 收 ， 或 形成 决议 ? 

a 在 团队 中 ， 哪 些 人 是 资深 员工 ?哪些 人 会 指导 或 驱动 哪些 具体 的 工作 ?在 工作 中 过 到 
困惑 ， 可 以 向 谁 请 教 ? 


口 测试 人 员 需 要 了 解 项 目的 组 织 流 程 。 


a 项 目 负责 人 人、 产品 经 理 、 开 发 经 理 、 测 试 经 理 如 何 协作 ? 他 们 如 何 决 定 项 目 流 程 和 规 
则 ? 他 们 如 何 评估 项 目 进度 并 拟定 项 目 计 划 ? 在 此 过 程 中 ,测试 人 员 可 以 提供 哪些 信 
息 和 建议 ? 
m 项 目 团队 如 何 定义 “工作 完成 ”? 其 中 ,“ 测 试 完 成 ”的 定义 是 什么 ? 

时 项 目 团队 如 何 决定 产品 可 以 发 布 ? 其 中 ,测试 人 员 需 要 为 发 布 决策 提供 哪些 信息 ? 


口 测试 人 员 应 该 知晓 测试 小 组 的 组 织 流 程 。 


a 在 测试 小 组 内 部 ， 测 试 人 员 如 何 协作 ?测试 经 理 如 何 协 调 测试 人 员 之 间 的 工作 ? 

m 测试 经 理 如 何 管理 具体 的 测试 工作 ? 他 如 何 了 解 工作 项 的 内 容 和 完成 情况 ?他 会 对 测 
试 工作 作出 哪些 决策 ? 

a 测试 经 理 对 测试 人 员 有 何 期 望 ” 他 希望 测试 人 员 以 何 种 方式 来 汇报 工作 ?他 如 何 设 定 
测试 任务 的 优先 级 和 质量 标准 ?他 如 何 评估 测试 人 员 的 工作 绩效 ? 

m 哪些 人 是 资深 测试 人 员 ? 哪些 人 会 指导 或 驱动 哪些 具体 的 测试 工作 ?在 工作 中 遇 到 困 
惑 ， 可 以 向 谁 请 教 ? 


为 了 更 好 地 理解 项 目 环境 , 测试 人 员 应 该 主动 寻找 以 上 问题 的 答案 。 与 软件 测试 相似 , 他 应 


该 从 多 个 渠道 收集 信息 。 


首先 ， 他 应 该 向 测试 经 理 询问 团队 组 织 的 问题 。 他 可 以 和 测试 经 理 约定 一 个 时 间 , 一 起 讨论 


测试 管理 和 团队 协作 的 问题 。 更 好 的 做 法 是 约定 一 个 周期 性 的 一 对 一 会 议 , 以 便 定期 提出 问题 并 


交 


意见 。 测试 经 理 通常 是 测试 人 员 的 直属 领导 , 负责 测试 人 员 的 绩效 考评 。 了 解 他 对 测试 工作 


的 要 求 和 期 望 ,能够 帮助 测试 人 员 更 有 效 地 工作 。 而 且 , 测试 经 理 是 测试 小 组 的 领导 者 , 会 组 织 
团队 活动 、 分 派 测试 任务 、 协 调 测试 人 员工 作 。 测 试 人 员 应 该 主动 询问 测试 经 理 如 何 领导 团队 ， 
从 而 更 好 地 在 团队 中 工作 。 此 外 , 测试 经 理 能 够 更 多 地 接触 高 层 经 理 和 其 他 团队 的 代表 ,对 项 目 
运作 有 更 深刻 的 认识 ， 能 够 向 测试 人 员 传 递 许多 有 价值 的 信息 。 


T 
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其 次 ,他 可 以 在 日 常 工作 中 向 团队 成 员 请 教 。 测 试 经 理 从 管理 层 的 角度 给 出 了 意见 ， Ua 

员 能 从 实际 工作 完成 者 的 角度 提供 信息 。 他 们 的 知识 大 多 来 自 测试 实践 既 有 成 功 的 经 验 ， 
有 失败 的 教训 。 在 具体 的 工作 上 ,咨询 他 们 的 意见 并 受 善 思考 ,能 达到 事半功倍 的 效果 。 测 on 
员 应 该 对 所 有 同事 保持 谦虚 的 态度 。 在 团队 中 , 没有 人 知道 所 有 细节 , 集合 多 人 的 观点 才能 形成 
较 完 整 的 认识 。 


最 重要 的 是 ， 他 应 该 通过 工作 来 获得 答案 。“ 纸 上 得 来 终 觉 浅 ,， 绝 知 此 事 要 躬 行 ”， 许 多 道理 
要 结合 具体 任务 , 通过 动手 实践 才能 真正 掌握 。 测试 人 员 应 该 利用 当前 的 测试 任务 来 理解 项 目 
和 团队 ， 并 通过 反思 来 形成 自己 的 认识 。 


例如 , 测试 经 理 为 新 加 入 团队 的 小 张 安排 了 一 个 测试 任务 : 与 男 一 个 团队 共同 完成 系统 的 集 
成 测试 。 为 了 理解 任务 的 背景 ， 小 张 会 向 测试 经 理 询 问 一 些 具体 问题 ， 例 如: 


O 谁 是 集成 测试 的 总 负责 人 ? 谁 驱动 和 协调 具体 的 工作 ? 
口 伙伴 团队 中 ， 谁 负 责 集成 测 试 ? 工作 分 工 是 什么 ? 
口 在 我 们 的 团队 中 ， 还 有 谁 参 加 集成 测试 ”工作 分 工 是 什么 ? 

口 集成 测试 预期 何 时 完成 ? 集成 测试 的 结束 标准 是 什么 ? 

口 如 果 有 问题 ( 例如 严重 的 缺陷 、 缺 少 必要 的 硬件 、 某 位 同事 休假 等 ) 阻碍 了 集成 测试 的 
进展 ， 应 该 如 何 处 置 ? 

口 您 对 集成 测试 有 什么 期 望 ? 

口 您 觉得 集成 测试 存在 哪些 风险 ? 如 何 发 现 风险 并 消除 其 危害 

O 您 觉得 哪些 测试 策略 会 有 帮助 ? 您 觉 和 is 


除了 与 测试 经 理 交 流 , 小 张 还 会 咨询 参与 过 集成 测试 的 员工 , 从 他 们 那里 了 解 集成 测试 的 情 
况 。 通常, 测试 经 理会 给 出 一 些 战略 层面 的 建议 , 测试 人 员 会 给 出 一 些 具体 战术 。 根据 所 收集 的 
信息 ,小 张 会 编写 一 份 测试 计划 ,发送 给 测试 经 理 、 本 团队 和 伙伴 团队 的 测试 人 员 ， 以 征求 改进 
意见 。 随 后 ， 他 着 手 测 试 ， 并 根据 其 他 人 对 测试 计划 的 反馈 ， 对 测试 活动 进行 必要 的 调整 。 


在 测试 完成 后 ， 小 张 回顾 测试 过 程 ， 对 测试 组 织 和 测试 设计 进行 反思 。 其 中 , 他 会 再 次 思 
曾经 询问 过 的 问题 ， 并 形成 自己 的 见解 。 经 过 几 次 测试 任务 ， 小 张 会 形成 自己 的 知识 体系 。 当 有 
新 人 向 他 咨询 测试 工作 时 ， 他 可 以 给 出 独到 的 建议 。 


8.1.2 语 境 独立 的 启发 式 问题 


上 一 小 节 讨 论 了 一 些 面 向 团队 结构 和 项 目 组 织 的 调查 问题 ， 本 节 将 介绍 测试 专家 Michael 
Bolton 和 JamesBach 所 提出 的 一 组 语 境 独立 的 启发 式 问 题 [Bolton10]。 所 谓 “ 语 境 独立 ”是 指 这 些 
问题 不 局 限于 特定 的 软件 项 目 ; 所 谓 “ 启 发 式 ” 是 指 它们 有 助 于 挖掘 信息 ,但 需要 测试 人 员 批 判 
性 地 思考 。 当 测试 人 员 加 入 新 项 目 或 重新 评估 现 有 项 目 时 ， 这 组 问题 可 以 帮助 他 调查 当前 语 境 ， 
更 好 地 理解 自己 的 工作 。 
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测试 专家 Ajay Blamurugadas 对 这 组 问题 进行 了 归纳 整理 ， 绘 制 了 一 幅 思 维 导 图 ， 详 见 图 8-1 
[Blamurugadas13]。 该 图 将 Michael Bolton 的 几 十 个 问题 归纳 为 十 余 个 要 点 ， 帮 助 测试 人 员 多 角度 
地 思考 软件 项 目 。 当 测试 人 员 加 入 新 团队 时 ,他 可 以 向 测试 经 理 和 项 目 领导 询问 这 些 问题 ， 也 可 
以 用 它们 去 指导 项 目 研究 。 无 论 如 何 ， 调查 这 些 问 题 都 可 以 让 他 更 好 地 理解 项 目 , 为 有 效 的 测试 
提供 线索 。 


感觉 (Feeling) 


信息 (Information) 


报告 (Report) 


图 8-1 Ajay Blamurugadas 归 纳 了 Michael Bolton 的 语 境 独 立 问题 
具体 的 问题 列表 如 下 。 
O 许可 (Permission ) 
m 我 可 以 问 您 一 些 问 题 吗 ? 
口 客户 〈Client ) 
m 谁 是 我 的 客户 ? 
mw 您 是 我 唯一 的 客户 吗 ? 


m 谁 是 产品 的 用 户 ? 
a 还 有 哪些 关系 人 ? 


口 使 命 (MIission ) 

a 我 的 使 命 是 什么 ? 

m 我 的 使 命 还 包含 哪些 部 分 ? 

mw 据 您 所 知 ， 有 哪些 问题 会 威胁 产品 的 价值 ? 
口 产品 (Product ) 

m 我 可 以 无 限制 地 访问 产品 吗 ? 

m 是 否 存在 其 他 相似 的 产品 ? 


测试 者 (Tester) 


专家 (Expert) 


( 开发 者 (Developer) 
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m 被 测 产 品 在 哪些 地 方 应 该 与 其 他 产品 一 致 ” 在 哪些 地 方 应 该 不 同 ? 
m 被 测 产 品 依赖 什么 ? 
m 构建 该 产品 使 用 什么 工具 和 资源 ? 


O 报告 ( Report ) 


n 您 希望 我 如 何 提 供 报告 ? 多 久 报 告 一 次 ? 
m 您 何 时 pe 
7 oo 您 还 希望 我 提供 什么 ? 

您 希 希望 我 以 何 种 方式 提供 ? 


口 时 间 ( Time ) 


e 我 拥有 多 少时 间 ? 

n 中 离 下 次 发 布 或 部 署 还 有 多 少时 间 ? 

e 距离 测试 结束 或 开发 结束 还 有 多 少时 间 ? 
您 何 时 需要 报告 或 答案 ? 


口 数据 (Data ) 


产品 处 理 什么 样 的 数据 ? 
m 我 可 以 获得 一 些 样 何 数 据 吗 ? 
m 我 能 获得 对 数据 的 详细 描述 吗 ? 


O 先知 ( Oracle ) 


m 我 如 何 识 别 一 个 问题 ? 
e 如 果 我 认为 我 发 现 了 一 个 问题 。 为 什么 我 认为 这 是 一 个 问题 ? 还 有 谁 会 认为 这 是 一 个 


问题 ? 


口 思考 (Thinking ) 
a 这 是 我 发 现 的 情况 和 我 对 它 的 解释 。 还 存在 其 他 解释 吗 ? 
m E 吉 果 。 还 存在 其 他 正确 的 解释 吗 ? 如 果 我 的 思考 结果 是 错误 的 ， 正 


m a ee 工作 的 吗 ? 


口 测试 者 (Tester ) 


m 其 他 人 测试 过 产品 吗 ? 
m 我 可 以 获得 他 们 的 测试 结果 吗 ? 
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a 测试 小 组 还 有 哪些 测试 人 员 ? 
ma 我 需要 具有 哪些 技术 和 能 力 ? 


m 测试 小 组 还 具有 哪些 其 他 的 技术 和 能 力 ? 何 处 能 提供 更 多 的 技术 和 能 力 ? 


m 测试 小 组 可 能 缺少 哪些 技术 和 能 力 ? 
O 专家 (Expert) 


m 还 有 谁 了 解 产 品 ? 

m 谁 是 回答 产品 问题 的 最 佳人 选 ? 

a 在 项 目 团队 中 ， 谁 是 领域 专家 ? 

mw 谁 是 公认 的 领域 专家 ， 即 便 他 们 在 别处 工作 ? 


口 开发 者 (Developer ) 


m 谁 构建 了 产品 ? 

m 我 可 以 与 他 们 交谈 吗 ? 

@ 他 们 容易 交流 吗 ? 他们 乐于 助人 吗 ? 

m 他 们 曾经 构建 过 相似 的 产品 吗 ? 

m 存在 某 个 我 应 该 避免 与 他 打交道 的 人 吗 ? 


口 感觉 ( Feeling ) 
党 ? 


m 我 对 产品 和 测试 有 何 感觉 ? 
m 您 对 产品 和 测试 有 何 感 觉 ? 
m 谁 可 能 有 不 同 的 感觉 ? 

m 他 们 可 能 有 何 感觉 ? 

m 用 户 对 产品 如 何 评价 ? 

mw 我 可 以 与 技术 支持 人 员 交 谈 吗 ? 


口 信息 (Information ) 


m 我 可 以 获得 哪些 信息 ? 
a 还 有 更 多 的 信息 吗 ? 


a 在 哪里 我 可 以 获得 更 多 的 信息 ?还 有 其 他 信息 源 吗 ? 


a 还 有 其 他 形式 的 信息 吗 ? 


m 这 就 是 全 部 的 信息 吗 ? 还 有 其 他 的 规则 、 需 求 和 规约 吗 ? 


m 我 可 以 做 哪些 工作 去 帮助 您 获得 信息 ? 
口 避免 ( Avoid ) 
m 我 可 以 相信 谁 ? 谁 的 信任 度 比较 低 ? 


` 267 + 


QQ、 第 8 章 研究 项 目 


m 存在 一 些 我 不 应 该 做 的 事情 吗 ? 
m 存在 一 些 我 应 该 问 您 的 问题 吗 ? 


口 TE (Tool) 


m 有 什么 设备 和 工具 可 以 帮助 我 测试 ? 
sm 您 期 望 我 构建 什么 工具 ? 要求 我 构建 什么 工具 ? 


在 本 质 上 , 以 上 问题 的 动机 是 揭示 语 境 , 即 通 过 调查 具体 问题 来 更 全 面 地 了 解 项 目 环境 和 团 
队 组 织 。 询 问 并 研究 这 些 问 题 将 帮助 测试 人 员 更 好 地 体会 他 的 环境 和 使 命 。 


8.1.3 了 解 团队 成 员 


人 是 项 目 语 境 中 最 重要 的 部 分 ,测试 人 员 需 要 了 解 与 他 一 起 工作 的 同事 ， 才 能 有 效 地 协作 、 
自如 地 发 挥 。 所 谓 了 解 同 事 ， 并 不 是 要 知晓 他 们 的 生活 细节 ， 更 不 是 要 完 探 他 人 隐私 ， 而 是 了 解 
他 们 在 工作 中 如 何 思考 和 行动 ,从 而 更 好 地 与 他 们 配合 。 


研究 人 类 性 格 和 思维 模式 的 方法 有 很 多 。 其 中 , 迈 尔 斯 - 布 里 格 斯 性 格 分 类 法 ( Myers-Briggs 
Type Indicator, MBTI ) 是 一 种 著名 的 性 格 测试 方法 [WikipediaMBTI13]。 测试 人 员 可 以 借用 MBTI 
的 4 个 基本 问题 ， 来 分 析 同 事 的 工作 风格 ， 从 而 以 恰当 的 方式 与 之 合作 。 


问题 1: 在 使 用 心理 能 量 时 ， 他 是 “外 向 ”还 是 “内 向 ”? 


口 外 向 型 的 人 偏向 于 从 外 部 获得 能 量 ， 从 讨论 和 互动 中 获得 力量 。 在 工作 中 ， 他 倾向 于 
与 同事 密切 交流 ， 频 繁 讨论 。 所 以 ,测试 人 员 可 以 考虑 和 外 向 型 同事 当面 交谈 ， 共 
同 解 决 问题 。 一 方面 ， 向 他 们 提供 能 量 和 帮助 ; 另 一 方面 ， 也 从 他 们 那里 获得 力量 和 

口 内 向 型 的 人 偏向 于 从 内 部 获得 能 量 ， 从 思考 和 冥想 中 获得 力量 。 在 工作 中 ， 他 倾向 于 独 
立 工 作 ， 安 静 思考 。 这 不 意味 着 他 不 喜欢 交流 ， 而 是 他 希望 在 深思 部 虑 之 后 再 进行 讨论 。 
与 内 向 型 的 同事 协作 时 ， 测 试 人 员 应 该 用 “信任 并 检验 ”的 风格 。 首 先 ， 相 信和 他 们 会 利 
用 安静 的 时 间 独 自 解决 问题 ， 然 后 ， 定 期 与 他 们 面对面 交流 ， 同 步 彼此 的 进度 ， 讨 论 一 
些 需要 协作 才能 解决 的 问题 。 


问题 2: 在 认识 外 在 世界 时 ， 他 是 依赖 “感觉 ”还 是 “直觉 ”? 


O 感觉 型 的 人 偏向 于 “眼见 为 实 、 耳 听 为 凭 ?"， 更 多 地 用 五 官 来 认识 世界 。 在 工作 中 ， 他 们 
重视 事实 和 数据 ， 会 深入 地 研究 问题 的 细节 。 所 以 ,测试 人 员 在 交流 之 前 应 该 准备 好 数 
据 、 图 表 和 事实 ， 用 翔实 的 信息 来 推动 讨论 。 

口 直觉 型 的 人 偏向 于 使 用 直觉 ， 用 大 脑 中 的 非 显 性 知识 来 分 析 具 体 问 题 。 在 工作 中 ， 他 们 
更 重视 可 以 解释 事实 的 观点 ， 用 抽象 的 理论 来 掌握 全 局 。 与 他 们 协作 时 ,测试 人 员 不 但 
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要 收集 事实 ， 还 要 思考 它们 背后 的 理论 ， 并 给 出 自己 的 见解 。 这 有 助 于 推动 意见 交流 ， 
在 相互 启发 的 过 程 中 获得 更 深刻 的 观点 。 


问题 3: 在 作出 决定 时 ， 他 利用 “思考 ”还 是 “感觉 ”? 


口 思考 型 的 人 在 作 决 策 时 ， 重 视 合理 性 、 逻 辑 性 、 因 果 关 系 、 一 致 性 ， 偏 向 于 通过 理性 思 
考 来 得 出 结论 。 在 说 服 他 们 时 ,测试 人 员 需 要 严密 地 论证 ， 用 坚实 的 推理 来 构建 证 据 链 ， 
从 而 让 结论 显得 自然 而 合理 。 

口 感觉 型 的 人 在 作 决 策 时 ,重视 问题 的 情景 ,考虑 相关 人 员 的 感受 ， 并 关注 解决 方案 是 否 
协调 一 致 和 拥有 共识 。 在 说 服 他 们 时 ,测试 人 员 不 但 要 使 论证 “合理 ”， 还 要 让 结果 “ 合 
情 ”。 这 要 求 测试 人 员 了 人 解 他 们 的 价值 观 ， 用 “ 同 理 心 ”来 体会 他 们 对 于 问题 的 感受 ， 从 
而 给 出 恰当 的 解决 方案 。 


问题 4: 在 处 事 风格 上 ， 他 是 “决断 ”还 是 “体察 ”? 


口 决断 型 的 人 偏向 于 “快刀 斩 乱 麻 ”， 快 速 作出 决定 ， 让 解 空 间 收 敛 。 在 软件 项 目 中 ,决断 
型 的 同事 倾向 于 快速 给 出 技术 方案 ,持续 推动 软件 高 速 发 展 。 这 帮助 项 目 团队 在 激烈 的 
市 场 竞 争 中 争取 先 发 优 势 ， 但 也 引入 了 错误 决策 的 风险 。 为 此 ,测试 人 员 需 要 慎重 思考 
他 们 的 决定 ,发掘 其 中 的 问题 和 风险 。 其 目标 是 确保 项 目 团队 对 这 些 问 题 进行 了 足够 的 
研究 ， 并 为 相关 风险 制定 了 监控 和 缓解 方案 。 
口 体察 型 的 人 偏向 于 “循序 浙 进 "， 将 重大 决策 延 后 ， 保 持 解 空间 的 开放 性 ， 等 到 拥有 足够 
的 信息 再 作 决 定 。 在 软件 项 目 中 ,体察 型 的 同事 倾向 于 只 做 必要 的 设计 ， 力求 让 当前 的 、 
真实 的 问题 来 驱动 软件 发 展 。 这 有 助 于 保持 软件 设计 的 简洁 ， 避 免 过 度 设计 带 来 的 开销 。 
其 风险 是 他 们 的 决策 可 能 缺乏 前 脆性 ， 不 能 高 速 地 切入 新 领域 或 提出 新 方案 ， 从 而 错失 
大 幅度 提高 竞争 力 的 机 会 。 为 此 ， 测 试 人 员 需 要 密切 关注 项 目 和 市 场 的 发 展 ， 在 必要 时 
提出 自己 的 意见 ， 以 推动 项 目 发 展 。 


在 运用 MBTI 的 4 个 问题 时 ， 需 要 牢记 : 这 些 问 题 都 是 启发 式 问题 ,它们 可 以 提供 有 参考 价值 
的 信息 , 但 是 无 法 承诺 完美 的 答案 。 首先 , 人 的 性 格 是 复杂 的 , 不 会 位 于 “性 格 光 谱 ” 的 两 端 ( 例 
如 纯粹 的 外 向 或 纯粹 的 内 向 )， 而 是 位 于 中 间 的 某 一 点 ， 从 而 体现 出 一 种 混合 的 风格 。 其 次 ， 人 
对 于 不 同 的 事物 有 不 同 的 态度 ， 从 而 在 不 同 工 作 项 上 表现 出 不 同 的 工作 风格 。 所 以 , 测试 人 员 除 
了 分 析 同 事 的 工作 风格 ， 还 要 与 他 们 直接 讨论 如 何 协作 。 有 时 候 ， 主 动 问 一 句 :“ 在 这 件 事 上 ， 
你 希望 我 做 些 什么 ? ”， 就 可 以 展开 很 好 的 对 话 ， 为 良好 的 协作 葛 定 基础 。 


健康 的 团队 需要 不 同 风格 的 人 才 , 人 员 在 能 力 和 性 格 上 的 差异 性 是 一 种 团队 财富 。 为 了 在 团 
队 中 作出 更 多 的 贡献 , 测试 人 员 需 要 主动 了 解 风格 过 异 的 同事 ,并 采用 相应 的 协作 方法 。 这 不 但 
会 促成 更 好 的 项 目 团 队 , 也 会 让 自己 的 职业 发 展 得 到 他 人 的 支持 , 毕 竞 一 个 善于 协作 的 人 总 是 能 
获得 更 多 的 资源 和 帮助 的 。 


" 209， 


QQ、 第 8 章 研究 项 目 


8.2 面向 测试 的 项 目 分 析 


在 软件 项 目 中 , 项 目 团 队 会 实施 多 种 分 析 和 度量 方法 ,来 评估 产品 质量 和 监控 开发 过 程 。 测 
试 人 员 也 可 以 建立 一 些 度量 , 来 了 解 项 目 情况 ， 从 而 为 测试 设计 提供 更 多 的 信息 。 为 了 获得 较 全 
面 的 认 知 ， 他 应 该 周期 性 地 分 析 多 个 项 目 元 素 , 将 片段 的 信息 汇聚 成 完整 的 图 景 。 为 此 ， 本 节 将 
从 测试 设计 的 角度 ， 讨 论 几 种 最 常见 的 分 析 对 象 : 软件 缺陷 、 源 代码 、 构 建 和 自动 化 测试 。 


8.2.1 软件 缺陷 


2.6 节 建议 测试 人 员 将 缺陷 管理 系统 视 作 项 目的 知识 库 ， 坚 持 每 天 或 每 周 阅读 他 人 提交 的 缺 
陷 报告 。 在 阅读 时 ， 他 可 以 使 用 一 些 度量 方法 来 分 析 近期 提交 的 缺陷 ， 以 一 览 缺 陷 概况 ， 并 为 深 
入 研究 提供 线索 。 


为 了 提高 度量 的 效率 , 测试 人 员 应 该 尽 可 能 用 自动 化 的 方法 来 获得 度量 结果 。 因 为 大 多 数 缺 
陷 管理 系统 使 用 关系 型 数据 库 来 存储 缺陷 报告 ,测试 人 员 可 以 使 用 SQL ( 本 节 使 用 Microsoft SQL 
Server 支 持 的 TSQL ) 来 分 析 缺 陷 数据 。 他 只 需要 向 系统 管理 员 申 请 到 数据 库 的 “只 读 ” 权 限 ， 
就 可 以 开始 分 析 。 代 码 清单 8-1 展 现 了 一 个 记录 缺陷 报告 的 数据 表 。 虽 然 真实 的 缺陷 表 比 它 复杂 
许多 ， 但 是 它 呈 现 了 缺陷 的 基本 字段 ， 能 够 支持 一 些 最 常用 的 查询 。 


代码 清单 8-1 ”缺陷 数据 表 


CREATE TABLE [dbo].[Bug]( 

[ID] [bigint] NOT NULL, 

[Priority] [smallint] NULL, 
[Severity] [smallint] NULL, 

[Path] [nvarchar](200) NOT NULL, 
[Title] [nvarchar](1000) NOT NULL, 
[OpenBuild] [nvarchar](20) NOT NULL, 
[OpenDate] [datetime] NOT NULL, 
[OpenBy] [nvarchar](10) NOT NULL, 
[ResolveDate] [datetime] NULL, 
[ResolvBy] [nvarchar](10) NULL, 
[Resolution] [nvarchar](20) NULL, 
[FixBuild] [nvarchar](20) NULL, 
[CloseDate] [datetime] NULL, 
[CloseBy] [nvarchar](10) NULL, 
[AssignTo] [nvarchar](10) NULL 
) ON [PRIMARY] 


度量 1: 统计 缺陷 提交 、 解 决 和 关闭 的 数目 

测试 人 员 可 以 用 代码 清单 8-2 所 示 的 查询 来 获得 近 1 个 月 以 来 每 日 提交 的 缺陷 数 。 这 条 语句 用 
WHERE OpenDate >= DATEADD(dd，-30，GETDATE()) 筛 选 出 最 近 30 天 的 缺陷 报告 ， 然 后 用 GROUP BY 
CONVERT(date，0penDate) 对 缺陷 报告 按 日 期 分 组 ， 最 后 用 SELECT COUNT(*) AS BugCount 统 计 出 每 
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天 的 缺陷 报告 数 。 图 8-2 展 示 了 相应 的 查询 结果 "， 它 表明 测试 小 组 在 持续 发 现 缺陷 ， 而 且 缺 陷 发 
现 的 速度 比较 平稳 。 


代码 清单 8-2 ”查询 近 1 个 月 以 来 每 日 提交 的 缺陷 数 
SELECT CONVERT(date, OpenDate) AS OpenDay, COUNT(*) AS BugCount 
FROM dbo.Bug 


WHERE OpenDate >= DATEADD(dd, -30, GETDATE()) 
GROUP BY CONVERT(date, OpenDate) 
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图 8-2 ” 近 1 个 月 以 来 每 日 提交 的 缺陷 数 


除了 分 析 0penDate ( 缺陷 提交 日 期 ), 测试 人 员 还 可 以 采用 与 代码 清单 8-2 相 似 的 查询 来 分 析 
ResolveDate ( 缺陷 解决 日 期 ) 和 CloseDate ( 缺陷 关闭 日 期 一 一 通常 是 测试 人 员 检 查 缺 陷 修复 的 
日 期 )。 这 样 可 以 了 解 解决 缺陷 的 速度 和 检查 修复 的 速度 。 


他 还 可 以 运行 代码 清单 8-3， 来 查询 近 1 个 月 以 来 的 缺陷 提交 数 、 解 决 数 和 关闭 数 。 如 果 缺 陷 
解决 数 远 小 于 缺陷 提交 数 , 那么 编程 小 组 可 能 没有 足够 的 时 间 来 修复 缺陷 。 如 果 缺 陷 关 闭 数 远 小 
于 缺陷 修复 数 , 那么 测试 小 组 可 能 没有 足够 的 时 间 来 检查 缺陷 修复 。 这 都 是 项 目 风险 ， 需 要 及 时 
向 测 试 经 理 汇报 ， 以 便 项 目 管理 者 作出 必要 的 调整 。 


代码 清单 8-3 ” 近 1 个 月 以 来 的 缺陷 提交 数 、 解 决 数 和 关闭 数 


SELECT 
COUNT(*) AS OpenCount 
» SUM(CASE WHEN ResolveDate IS NULL THEN O ELSE 1 END) AS ResolveCount 
» SUM(CASE WHEN CloseDate IS NULL THEN O ELSE 1 END) AS CloseCount 
FROM dbo. Bug 
WHERE OpenDate > DATEADD(dd, -30, GETDATE()) 


O 我 推荐 用 Microsoft Excel 连 接 数据 库 ， 将 查询 结果 绘制 为 图。 具体 方法 请 参考 我 的 博客 文章 : http://www.cnblogs. 
com/liangshi/archive/2012/04/02/2429683.html ， http://www.cnblogs.com/liangshi/archive/2012/04/02/2429685.html , 
http://www.cnblogs.com/liangshi/archive/2012/04/02/2429688.html. 
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度量 2: 统计 员工 提交 、 解 决 和 关闭 缺陷 的 数目 


然后 ， 他 可 以 使 用 代码 清单 8-4 所 示 的 SQL 语句 来 查询 提交 缺陷 最 多 的 10 个 人 ， 其 结果 如 网 
8-3 所 示 。 该 SQL 语句 用 NITH 子 句 对 0penBy ( 提交 者 ) 分 组 ， 获 得 每 位 员工 在 最 近 30 天 所 提交 的 缺 
陷 数 ， 然 后 利用 ORDER BY BugCount DESC 和 SELECT TOP 10 查 询 出 提交 缺陷 最 多 的 10 个 人 。 利 用 该 
查询 ,测试 人 员 可 以 知道 谁 提交 了 最 多 的 缺陷 , 并 评估 自己 发 现 的 缺陷 数 在 团队 中 处 于 什么 位 次 。 


代码 清单 8-4 ” 近 1 个 月 来 提交 缺陷 最 多 的 10 位 员工 


WITH BugHunter AS ( 
SELECT OpenBy, COUNT(*) AS BugCount 
FROM dbo.Bu 
WHERE OpenDate >= DATEADD(dd, -30, GETDATE()) 
GROUP BY OpenBy 


SELECT TOP 10 OpenBy, BugCount 
FROM BugHunter 
ORDER BY BugCount DESC 
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图 8-3” 近 1 个 月 来 提交 缺陷 最 多 的 10 位 员工 


常 ， 那 些 发 现 较 多 缺陷 的 员工 对 产品 比较 了 解 ， 能 够 想 出 许多 针对 产品 弱点 的 测试 想法 。 
测试 人 员 应 该 保持 谦虚 的 心态 , 认真 阅读 他 们 的 缺陷 报告 ,以 积累 产品 知识 和 测试 想法 。 在 此 过 
程 中 ， 他 可 以 用 以 下 问题 来 驱动 阅读 。 


口 缺陷 提交 者 是 如 何 发 现 该 缺陷 的 ? 他 利用 了 哪些 产品 知识 ? 利用 了 何 种 测试 策略 ? 

口 我 能 和 否 利用 这 些 知识 和 策略 来 增强 我 的 测试 ?能 否 在 此 基础 上 发 展 出 更 具 威 力 的 策略 ? 
O 该 缺陷 是 什么 类 型 的 缺陷 ? 它 反应 了 产品 在 哪 方面 存在 弱点 ? 

口 缺陷 管理 系统 中 还 存在 类 似 的 缺陷 吗 ? 能 和 否 提炼 出 这 些 缺 陷 的 共性 ， 从 而 获得 失败 模 
式 ? 能 否 针对 此 类 缺陷 ， 设 计 几 种 有 针对 性 的 测试 策略 ? 


fet 
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8.2 面向 测试 的 项 目 分 析 


除了 分 析 0penBy( 缺陷 提交 者 )， 测 试 人 员 还 可 以 采用 与 代码 清单 8-4 相 似 的 查询 来 分 析 
ResolveBy ( 缺陷 解决 者 ) 和 CloseBy ( 缺陷 关闭 者 一 一 通常 也 是 缺陷 修复 的 检验 者 )。 这样 可 以 了 
解 谁 修复 了 最 多 的 缺陷 、 谁 检查 了 最 多 的 修复 ， 从 而 了 解 项 目 团队 的 工作 情况 。 


度量 3: 统计 每 个 模块 的 新 增 缺 陷 数 


测试 人 员 可 以 使 用 代码 清单 8-5 分 析 缺 陷 在 不 同 模块 的 分 布 。 这 段 代 码 假定 缺陷 报告 的 路 径 
的 格式 是 “ 父 模块 \ 子 模块 \ 孙 模块 ”, 即 路 径 是 以 人 "为 分 隔 符 的 模块 序列 。 代 码 使 用 “RIGHT([Path]， 
CHARINDEX('\' ，REVERSE([Path])))” 获 得 最 后 一 个 “\” 之 后 的 模块 名 ， 即 路 径 末 端的 模块 名 。 
图 8-4 显 示 了 查询 结果 ， 它 指出 模块 M1 的 缺陷 异乎 寻常 地 多 。 这 暗示 测试 人 员 应 该 去 阅读 该 模块 
的 缺陷 报告 ， 以 调查 它 为 什么 有 如 此 多 的 缺陷 。 在 许多 时 候 ， 发 现 缺陷 较 多 的 模块 还 隐藏 了 不 少 
尚未 发 现 的 缺陷 。 通 过 阅读 缺陷 报告 ,测试 人 员 可 以 发 掘 缺陷 多 发 的 根源 ， 从 而 制定 出 有 针对 性 
的 测试 策略 。 


代码 清单 85 ” 近 1 个 越 来 缺陷 在 不 同 模块 的 分 布 


SELECT [PATH] 
, RIGHT([Path], CHARINDEX('\', REVERSE([Path]))) AS Module 
> COUNT(*) AS BugCount 

FROM dbo. Bug 

WHERE OpenDate > DATEADD(dd, -30, GETDATE()) 

GROUP BY [Path] 

HAVING COUNT(*) > 4 

ORDER BY BugCount DESC 
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18-4 ” 近 1 个 月 来 缺陷 在 不 同 模块 的 分 布 
度量 4: 统计 缺陷 解决 方案 的 分 布 


测试 人 员 可 以 分 析 自 己 所 提交 的 缺陷 是 如 何 被 解决 的 。 代 码 清单 8-6 通 过 WHEREOpenBy =' 涵 ' fii 
选 出 特定 测试 人 员 提 交 的 缺陷 ， 用 GROUP BY Resolution 对 解决 方案 分 组 ， 进 而 统计 出 每 种 方案 的 
缺陷 数 。 图 8-5 是 用 Excel 绘 制 的 查询 结果 分 布 图 。 该 图 表明 , 有 52% 的 缺陷 被 解决 为 “不 能 重 现 ”， 
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这 暗示 测试 手段 和 缺陷 报告 存在 改进 的 空间 。 测试 人 员 应 该 仔细 阅读 那些 “不 能 重 现 ”的 缺陷 报 
告 ， 分 析 不 能 重 现 的 原因 ， 并 采取 改进 措施 〈 可 参考 2.2.3 节 介绍 的 方法 )。 


代码 清单 8-6 ”缺陷 解决 方案 分 类 统计 


SELECT Resolution, COUNT(*) AS BugCount 
FROM dbo. Bug 

WHERE OpenBy = '3%' 

GROUP BY Resolution 
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图 8-5 ”缺陷 解决 方案 分 类 统计 


本 节 介 绍 了 几 种 简单 的 缺陷 度量 方法 , 它们 从 不 同 的 角度 分 析 已 提交 的 缺陷 报告 ,可 为 进 一 
步 的 技术 调查 提供 线索 。 这 些 度量 值 只 反应 了 产品 缺陷 和 团队 工作 的 一 小 部 分 信息 。 为 了 获得 更 
透彻 的 理解 ,测试 人 员 需 要 仔细 阅读 缺陷 报告 ， 控 掘 典 型 缺陷 、 测 试 策略 和 项 目 风险 , 并 将 研究 成 
果 分 享 给 团队 成 员 。 其 他 成 员 根 据 其 知识 和 经 验 ， 能 够 补充 更 多 的 信息 ， 从 而 获得 更 完整 的 成 果 。 


8.2.2 源 代码 


7.1.1 节 已 经 介绍 了 如 何 通过 度量 源 代码 来 获得 测试 灵感 ,本 节 仅 做 一 些 延 伸 讨 论 。 研究 源 代 
码 的 基本 思路 仍 是 用 简单 的 度量 获得 代码 的 基本 信息 ， 再 通过 代码 阅读 去 产生 测试 想法 。 


代码 清单 8-7 展 示 了 一 段 PowerShell 脚 本 , 它 分 析 当 前 目录 及 其 子 目 录 下 的 所 有 C# 文 件 , 并 输 
出 文件 目录 、 文 件 名 、 文 件 行 数 和 代码 复杂 度 到 控制 台 。 其 中 ,代码 复杂 性 的 度量 方法 是 : 文件 
的 复杂 度 = 文件 中 分 支 与 循环 关键 字 的 个 数 二 〈 文 件 的 行 数 + 1)。 代 码 清单 8-7 所 选择 的 分 支 与 
循环 关键 字 是 if、case、for、foreach、while。 这 是 一 种 基于 文本 分 析 的 代码 度量 ,能 够 用 很 简 
单 的 脚本 去 获得 一 些 基本 信息 ， 为 后 续 的 代码 阅读 提供 情报 。 


代码 清单 8-7 分 析 C# 文 件 的 行 数 和 代码 复杂 度 


$root = Get-Location 
"Folder tFile’ tLineCount“ tComplexity" 
Get-ChildItem *.cs -Recurse | %{ 
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} 


$folderName = $_.DirectoryName.Substring($root.Path. Length); 
$lines = Get-Content $ .FullName 
$lineCount = $lines.Length 
$opCount = ($lines | foreach { $ .split() } | 
where { $ -in (‘if', 'case', 'for', 'foreach', 'while') }).Length 
$complexity = $opCount / ($lineCount + 1) 
"$folderName t$($_.Name)~ t$lineCount* t$complexity" 


测试 人 员 用 代码 清单 8-7 分 析 NUnit 2.6.2 的 代码 ， 并 将 结果 重 定 向 到 文本 文件 中 ， 再 用 
Microsoft Excel 打 开 该 文本 文件 ， 获 得 如 图 8-6 所 示 的 数据 表 。 


= 
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基于 该 数据 表 ， 可 以 快速 找 出 复杂 度 最 高 的 10 个 文件 ， 结 果 见 图 8-7。 复 杂 度 高 的 文件 往往 
包含 复杂 的 逻辑 ,在 代码 修改 的 过 程 中 更 可 能 引入 缺陷 。 因 此 , 测试 人 员 可 以 浏览 这 些 高 复杂 


ON mw NN 一 


A B € D 
Folder iy] File -| LineCcount 图 Complexity 
\src\NUnitCore\core MethodHelper.cs 191 0.255208333 
\src\NUnitCore\core TypeHelper.cs 211 + 0.245283019 
\src\NUnitCore\interfaces\Extensibilit ITestCaseProvider.cs 60 0.213114754 
\src\NUnitCore\core TestCaseBuilderAttribute.cs 18 0.210526316 
\src\NUnitFramework\framework\Con Numerics.cs 363 0.18956044 
\src\NUnitCore\core\Extensibility TestCaseProviders.cs 133 ©0.186567164 
\src\NUnitCore\interfaces\Extensibilit IExtensionPoint.cs 65 0.181818182 
\src\NUnitCore\core\Extensibility DataPointProviders.cs 116 0.179487179 
\src\NUnitCore\interfaces\Extensibilit IDataPointProvider.cs 62 0.174603175 


图 8-6 NUnit2.6.2 的 代码 行 数 和 复杂 度 


的 文件 ， 了 解 它们 的 功能 ， 并 构思 相应 的 测试 用 例 。 


MethodHelper.cs | 
TypeHelper.cs 
ITestCaseProvider.cs 
TestCaseBuilderA ttribute.cs 
Numerics.cs 
TestCaseProviders.cs 
IExtensionPoint.cs 
DataPointProviders.cs 


IDataPointProvider.cs 


FileAssert.cs 
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图 8-7 NUnit2.6.2 中 复杂 度 最 高 的 10 个 C# 文 件 
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代码 清单 8-8 展 示 了 复杂 度 最 高 的 MethodHelper.cs 的 部 分 代码 。 这 段 代码 检查 输入 参数 (arg) 
的 类 型 ， 并 根据 它 的 类 型 和 值 决定 显示 字符 串 〈display ) 的 值 。 因 为 要 处 理 每 种 可 能 的 类 型 和 
特殊 取 值 ,所 以 它 拥 有 许多 艇 套 的 计 语 句 ， 导 致 了 最 高 的 复杂 度 。 针 对 此 类 代码 ,测试 人 员 可 以 
从 以 下 角度 构思 测试 。 


口 代码 是 否 处 理 了 arg 的 所 有 情况 ?长 长 的 1f-else 语 句 有 没有 漏 掉 arg 的 一 个 可 能 类 型 ? 有 
没有 漏 掉 arg 的 一 个 特殊 取 值 ? 此 类 遗漏 会 导致 何 种 问题 ?能 不 能 构造 测试 输入 来 暴露 
问题 ? 

口 代码 处 理 arg 的 逻辑 是 否 正确 ? 字符 叮 display 的 构造 逻辑 是 否 正 确 ? 

口 现 有 的 测试 用 例 是 否 实 现 了 100% 的 分 支 覆 盖 率 ? 如 果 没 有 ， 需 要 补充 哪些 测试 用 例 ? 


代码 清单 8-8 ”复杂 度 最 高 的 文件 MethodHelper.cs (局 部 ) 


else if (arg is long) 
{ 
long 1 = (long)arg; 
if (1 == long.MinValue) 
display = "long.MinValue"; 
else if (1 == long.MinValue) 
display = "long.MaxValue"; 
else 
display += "L"; 
} 
else if (arg is ulong) 
{ 
ulong ul = (ulong)arg; 
if (ul == ulong.MinValue) 
display = "ulong.MinValue"; 
else if (ul == ulong.MinValue) 
display = "ulong.MaxValue"; 
else 
display += "UL"; 


} 

else if (arg is string) 

{ 
StringBuilder sb = new StringBuilder(); 
sb.Append("\""); 
foreach (char c in (string)arg) 

sb.Append(EscapeControlChar(c)); 

sb.Append("\""); 
display = sb.ToString(); 

} 


else if (arg is char) 


除了 调查 复杂 的 代码 ， 测 试 人 员 还 可 以 利用 Excel 的 数据 透视 表 统 计 出 每 个 模块 ( 目录 ) 的 
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复杂 度 的 累加 值 ， 结 果 见 图 8-8。 这 些 模块 通常 拥有 较 多 的 代码 和 较 复 杂 的 功能 ， 更 容易 发 生 错 
误 ， 是 重点 测试 的 候选 对 象 。 测 试 人 员 可 以 浏览 其 源 代 码 来 识别 测试 对 象 ， 并 确定 测试 策略 。 


\sre\NUnitCore\core 
\sre\NUnitFramework\framework\Constraints 
\sre\ClientUtilities\util 
\sre\NUnitFramework\framework\Attributes 
\sre\NUnitCore\core\Builders 
\src\GuiComponents\UiKit 
\src\NUnitFramework\framework 
\sre\NUnitCore\interfaces\Extensibility 


\src\NUnitCore\tests 


\src\NUnitCore\interfaces 
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图 8-8 NUnit2.6.2 中 复杂 度 累加 值 最 高 的 10 个 目录 
测试 人 员 可 以 定期 运行 代码 度量 , 以 持续 监控 代码 的 变化 。 通过 比较 当前 的 度量 值 和 之 前 的 
EEH, 他 可 以 识别 出 代码 行 数 和 复杂 度 增 幅 较 大 的 文件 与 日 录 。 基 于 该 信息 ,他 会 调查 代码 变 
动 的 原因 ， 并 评 佑 风险。 这 为 及 时 调整 测试 重点 提供 了 支持 。 


8.2.3 构建 


大 多 数 团队 都 部 署 了 专门 的 构建 服务 器 , 实施 持续 的 自动 化 构建 。 因 为 源 代码 和 构建 是 软件 
研发 的 工作 核心 ， 测 试 人 员 应 该 了 解 代码 签 人 和 构建 的 规章 流程 ， 从 而 更 好 地 为 项 目 团队 服务 。 
以 下 是 一 些 常见 的 基本 问题 。 


O 在 签 人 之前， 产品 代码 需要 满足 什么 要 求 ” 程序 员 需 要 做 什么 工作 ? 测试 人 员 需 要 做 什 


么 工作 ? 
O 如 果 签 入 的 代码 导致 构建 失败 ， 构 建 服务 器 会 如 何 处 理 ? 谁 会 负责 通报 此 问题 ? 谁 会 负 
责 修 复 构 建 ? 


口 构建 服务 器 产生 新 构建 需要 多 长 时 间 ? 如 果 程 序 员 今 天 下 班 前 签 和 代码， 明天 早晨 能 
获得 可 测试 的 构建 吗 ? 

口 产品 团队 有 时 需要 发 布 一 个 紧急 的 产品 补丁 或 快速 修复 线 上 系统 的 缺陷 。 对 于 此 类 重要 
且 紧 迫 的 代码 修改 ， 项 目 团队 制定 了 什么 流程 ? 也 许 ， 在 代码 签 人 之 前 ， 测 试 人 员 需 要 
测试 程序 员 提 供 的 私有 构建 。 对 此 ,测试 完成 的 标准 是 什么 ”在 签 入 之 后 ,测试 人 员 需 
要 检验 新 的 构建 确实 包含 预期 的 修复 。 对 此 ， 测 试 完成 的 标准 是 什么 ? 
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口 在 签 和 人 之前， 测试 代码 需要 满足 什么 要 求 ? 测试 人 员 应 该 如 何 保证 自己 的 代码 达到 团队 
制定 的 质量 标准 ? 


在 了 解 了 基本 流程 之 后 ， 测 试 人 员 可 以 考虑 如 何 利 用 源 代 码 服务 器 和 构建 服务 器 为 测试 服 
务 。 以 下 是 一 些 常见 的 做 法 。 


口 在 代码 变更 集 被 提交 后 ， 大 多 数 源 代码 管理 系统 会 发 送 邮 件 ， 列 出 签 和 信和 被 修改 的 文件 。 
测试 人 员 可 以 在 邮件 系统 中 设置 规则 ， 为 此 类 邮件 自动 加 上 标签 ， 或 移动 到 指定 的 邮件 
目录 。 然 后 ， 他 可 以 每 天 花 几 分 钟 时 间 ， 浏览 最 新 的 代码 签 人 人 邮件， 识别 出 与 自己 所 负 
责 模 块 紧 密 相 关 的 代码 改动 。 对 于 这 些 改动 ， 他 可 以 再 多 花 一 些 时 间 ， 查 看 哪些 具体 代 
码 发 生 了 改动 ， 并 评估 其 风险 。 软 件 项 目 时 刻 变动 ， 测 试 人 员 很 难 准确 预测 所 有 的 代码 
变更 。 持 续 监 控 代 码 签 人 能 够 帮助 测试 人 员 及 时 发 现 值得 测试 的 内 容 。 

口 通常 构建 服务 器 将 产生 的 构建 放 在 一 个 共享 文件 夹 中 。 测 试 人 员 可 以 编写 一 个 脚本 去 获 
得 最 新 的 安装 文件 ， 或 指定 版 本 的 安装 文件 。 假 设 ,构建 服务 将 所 有 构建 保存 在 共享 文 
件 夹 \builds\product_abc 中 ， 每 个 构建 拥有 单独 的 子 文件 夹 ， 文件 夹 的 命名 模式 是 “[ 构 建 
号 ] [构建 类 型 ] [平台 ]”。 其 中 ,构建 号 形 如 1.0.1 ( 由 数字 和 点 构成 的 字符 串 ), 构建 类 型 
的 取 值 是 release 、debug 和 cover, 平台 的 取 值 是 x64 和 x86。 因 此 ,构建 的 文件 路 径 类 似 于 
Nbuilds\product abc\1.0.1 x64 ship、\\builds\product abc\1.0.2 x86_debug 等 。 代 码 清单 8-8 
是 一 个 IronPython 脚 本 get_build.py， 它 搜索 存放 构建 的 共享 文件 夹 ， 获 得 所 有 子 目 录 ， 并 
反 转 子 目 录 列 表 ， 使 得 构建 号 高 的 文件 夹 排 在 前 面 。 之 后 ， 它 扫描 文件 夹 列表 ， 如 果 某 
个 文件 夹 符合 用 户 指 定 的 构建 号 、 构 建 类 型 或 平台 ， 它 就 会 输出 安装 文件 的 路 径 ， 并 将 
该 路 径 复 制 到 剪贴 板 。 如 果 用 户 不 指定 构建 号 、 构 建 类 型 或 平台 ， 脚 本 会 使 用 这 些 参数 
的 默认 值 : 构建 号 是 “.”( 它 可 匹配 任意 构建 号 )， 构 建 类 型 是 ship， 平 台 是 x64。 此 时 ， 
脚本 会 选择 最 新 的 x64 平 台 的 ship 类 型 的 构建 。 利 用 该 脚本 , 测试 人 员 只 需 运 行 一 条 命令 ， 
就 可 以 获得 最 新 的 或 特定 的 安装 文件 的 路 径 ， 而 省 去 了 手工 搜索 构建 路 径 的 开销 。 

O 基于 代码 清单 8-9， 测 试 人 员 可 以 编写 一 个 脚本 ， 以 自动 安装 最 新 的 构建 。 利 用 操作 系统 
的 定时 任务 ， 他 可 以 安排 测试 机 在 每 天 清晨 自动 反 安 装 产品 ， 然 后 安装 最 新 构建 。 当 他 
上 班 的 时 候 ， 测 试 机 已 经 准备 好 了 最 新 版 本 的 产品 供 他 测试 。 


代码 清单 8-9 get_build.py 


import System, sys, clr 
clr.AddReference("System.Windows. Forms") 
import System.Windows.Forms.Clipboard as Clipboard 


def find_value(argv, *values): 
for v in values: 
if v in argv: 
return v 
return values[0] 
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def find_build_number (argv): 
for a in argv: 
if '.' ina: 
return a 
return '.' 


argv = sys.argv[1:] 

build_number = find_build_number(argv) 

flavor = find_value(argv, 'release', 'debug', 'cover') 
platform = find_value(argv, 'x64', 'x86') 


root = r'\\builds\product_abc\2.0' 
folders = System.10.Directory.GetDirectories (root) 
for folder in reversed(folders): 
if (build_num in folder 
and build in folder 
and platform in folder): 
setup = r'%s\setup.exe ' % folder 
print setup 
Clipboard. SetText (setup) 
break 


# usage: 
# ipy.exe get_build.py [build_umber] [release|debug|cover] [x64|x86] 


8.2.4 自动 化 测试 
许多 项 目 团 队 都 使 用 自动 化 测试 来 检查 构建 的 质量 ， 上 典型 的 工作 流程 如 下 。 
(1) 构建 系统 生成 新 的 构建 ， 然 后 通知 自动 化 测试 系统 。 
(2) 自动 化 测试 系统 配置 测试 环境 ， 并 部 署 新 构建 。 
(3) 自动 化 测试 系统 从 自动 化 测试 仓库 获得 BVT 和 集合。 
(4) 自动 化 测试 系统 运行 测试 集合 ， 并 将 结果 存 入 测试 结果 仓库 。 


(5) 如 果 BVT 结 果 显 示 新 构建 质量 良好 ， 可 以 进一步 测试 ， 自 动 化 测试 系统 获得 其 他 可 用 的 


测试 集合 。 
(6) 自动 化 测试 系统 运行 测试 集合 ， 并 将 结果 存 入 测试 结果 仓库 。 


其 中 , 被 执行 的 自动 化 测试 用 例 往往 由 测试 小 组 编写 , 模块 的 测试 负责 人 会 编写 该 模块 的 测 
试用 例 。 为 了 更 好 地 维护 测试 用 例 集 合 , 测试 人 员 应 该 周期 性 地 调查 几 个 基本 的 问题 ， 并 根据 调 


查 结果 制定 相应 的 行动 方案 。 
问题 1， 自动 化 测试 的 反馈 频率 如 何 ? 


运行 自动 化 测试 的 目的 是 持续 、 快 速 、 稳 定 地 获得 产品 质量 的 反馈 ,所 以 测试 人 员 需 要 了 解 


自动 化 测试 的 反馈 频率 。 在 许多 小 型 项 目 中 , 项 目 团队 会 每 天 运行 所 有 的 自动 化 测试 用 例 。 


因此 ， 


测试 人 员 可 以 确信 新 签 入 的 代码 在 24 小 时 之 内 会 被 所 有 测试 用 例 检 查 。 在 某 些 大 型 项 目 中 , 自动 
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化 测试 的 数目 非常 庞大 ,测试 小 组 将 它们 分 成 几 个 集合 ， 以 不 同 的 频率 运行 。 对 此 ,测试 人 员 需 
要 调查 几 个 具体 问题 。 


口 自动 化 测试 拥有 哪 几 个 测试 集合 ? 例如， 一些 测 试 小 组 会 根据 测试 的 性 质 ， 将 测试 用 例 

划分 为 : BVT 集 合 、 基 本 功能 测试 集合 、 完 整 功能 测试 集合 、 性 能 测试 集合 。 

口 每 个 测试 集合 以 什么 频率 运行 ? 每 次 运行 需要 多 长 时 间 ? 例 如, 在 某 个 测试 小 组 中 , BVT 
每 天 运行 多 次 〈 耗 时 2 小 时 )， 基 本 功能 测试 集合 每 天 运行 1 次 〈 耗 时 12 小 时 )， 完 整 功 能 
测试 集合 每 周 运行 1 次 耗 时 48 小 时 )， 性 能 测试 集合 每 2 周 运行 1 次 〈 耗 时 48 小 时 )。 

O 在 自己 负责 的 测试 用 例 中 ， 哪 些 应 该 以 更 高 的 频率 执行 ”哪些 可 以 用 较 低 的 频率 执行 ? 


调查 以 上 问题 的 目的 是 优化 测试 集合 , 使 高 频率 运行 的 测试 集合 用 较 短 的 时 间 发 现 严重 的 缺 
陷 〈 这 些 缺 陷 往往 使 后 续 的 测试 集合 遭遇 大 规模 的 失败 )， 使 低频 率 运 行 的 测试 集合 用 较 充 裕 的 
时 间 发 现 余 下 的 缺陷 。 基 本 目标 是 既 可 以 尽早 发 现 严 重 的 缺陷 , 又 确保 高 频率 的 测试 集合 在 规定 
时 间 内 完成 。 测 试 人 员 应 该 检查 自己 的 测试 用 例 , 将 重要 的 用 例 移入 高 频率 的 测试 集合 , 将 不 太 
重要 的 用 例 移 入 低频 率 的 测试 集合 。 对 于 新 加 入 团队 且 接 手 一 批 自动 化 测试 的 测试 人 员 , 这 是 一 
项 “必修 ”的 功课 。 


问题 2: 自动 化 测试 覆盖 了 哪些 测试 点 ?没有 覆盖 哪些 测试 点 ? 


测试 人 员 应 该 定期 检查 自己 负责 的 自动 化 测试 ,以 评估 他 们 覆盖 了 哪些 需求 、 功 能 、 质 量 特 
性 、 用 户 情 景 等 测试 点 。 其 目标 是 了 解 自动 化 测试 已 经 测试 了 哪些 内 容 一 一 这 些 内 容 无 需 手工 重 
复 测试 。 更 重要 的 是 了 解 自动 化 测试 没有 测试 哪些 内 容 , 并 制订 相应 的 行动 计划 。 以 下 是 一 些 常 
见 的 测试 方案 。 


口 补充 自动 化 测试 用 例 以 提高 测试 效率 。 有 些 功 能 是 产品 的 基础 ， 测 试 人 员 应 该 尽快 发 现 
其 中 的 严重 错误 。 然 而 ， 每 天 手工 地 检查 会 耗费 太 多 资源 ， 且 占用 了 测试 其 他 功能 的 时 
间 。 一 种 合理 的 策略 是 编写 测试 用 例 ， 和 覆盖 重要 功能 的 基本 使 用 情景 ， 并 将 测试 用 例 加 
入 每 日 运行 的 测试 用 例 集 。 这 样 ， 测 试 人 员 可 以 在 24 小 时 内 发 现 破 环 产品 基础 功能 的 严 
重 缺 陷 。 

口 补充 自动 化 测试 用 例 以 提高 测试 能 力 。 有 些 极 具 价 值 的 测试 只 能 由 计算 机 执行 ， 例 如 6.4 
节 介 绍 的 大 规模 自动 化 测试 ， 它 利用 计算 机 《集群 ) 的 强大 性 能 执行 海量 测试 用 例 ， 提 
供 了 手工 测试 无 法 匹敌 的 强力 检查 。 此 外 ， 有 些 测试 涉及 复杂 的 计算 ,手工 执行 容易 出 
错 且 令 人 疲倦 。 对 此 ， 可 考虑 构建 数据 驱动 的 自动 化 测试 ， 通 过 持续 增强 测试 数据 ， 来 
逐渐 提高 对 各 种 计算 情况 的 测试 覆盖 。 

口 补充 自动 化 测试 用 例 以 弥补 测试 漏洞 。 在 项 目 过 程 中 ,测试 人 员 和 产品 试用 者 会 发 现 许 
多 缺陷 。 某 些 缺 陷 很 容易 通过 自动 化 测试 来 捕获 ,但 是 由 于 自动 化 测试 集合 不 够 严密 ， 
它们 成 为 “漏网 之 鱼 "。 在 处 理 软件 缺陷 时 ， 测 试 人 员 可 以 自问 : 我 可 以 通过 增强 自动 化 
测试 来 发 现 此 类 缺陷 吗 ? 需要 付出 多 少时 间 才 能 完成 ”如 果 所 需要 的 时 间 在 允许 范围 内 

且 没 有 更 重要 的 任务 ,测试 人 员 可 以 编码 实现 新 的 测试 用 例 。 
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8.2 面向 测试 的 项 目 分 析 


口 补充 手工 测试 或 半自动 化 测试 以 确保 在 产品 发 布 前 测试 相关 内 容 。 在 紧张 的 进度 压力 下 ， 
可 能 没有 时 间 构 造 大 量 的 自动 化 测试 。 测 试 人 员 需 要 制订 切实 可 行 的 测试 计划 ， 综 合 利 
用 自动 化 测试 、 半 自动 化 测试 和 手工 测试 ， 让 测试 工作 在 项 目 结束 前 达到 测试 完成 的 
标准 。 

问题 3;: 有 了 哪些 测试 用 例 需 要 重 构 ? 有 了 哪些 测试 用 例 可 以 退役 ? 


测试 人 员 应 该 定期 检查 自动 化 测试 的 结果 , 以 发 现 那些 失败 率 特 别 高 的 测试 用 例 , 并 分 析 失 
败 的 原因 。 许 多 时 候 , 测试 用 例 经 常 失 败 是 因为 测试 代码 不 够 健壮 , 不 能 够 妥善 处 理 产 品 运行 过 
程 中 的 种 种 情况 。 此 类 发 出 虚假 警报 的 测试 用 例 给 自动 化 测试 带 来 了 负面 影响 。 一 方面 , 测试 人 
员 花 费 了 宝贵 的 时 间 去 调查 测试 失败 ， 却 不 能 发 现 产 品 缺 陷 ; 男 一 方面 ， 虚 假 的 警报 降低 了 测试 
用 例 集 的 可 信和 度 ， 久而久之, 测试 人 员 会 对 测试 失败 习以为常 ， 降低 侦 测 产品 缺陷 的 警觉 性 。 所 
以 ,测试 人 员 应 该 严肃 对 待 不 良 测试 代码 ， 尽 可 能 将 其 重 构 为 稳健 的 代码 。 软 件 开 发 专家 Gerard 
Meszaros 的 著作 xUnit Test Patterns: Refactoring Test Code [Meszaros07] 详 细 描 述 了 测试 代码 的 “ 坏 
味道 ”"， 并 给 出 了 一 批 重 构 手法 和 测试 设计 模式 ， 值 得 测试 人 员 参 考 。 


随 着 产品 的 发 展 ,有 些 测试 用 例 的 逻辑 已 经 不 能 反映 当前 产品 的 状态 ,属于 过 时 的 测试 代码 。 
还 有 一 些 测试 用 例 的 检查 逻辑 已 经 被 其 他 测试 用 例 所 实现 ， 属 于 “元 余 的 ”测试 用 例 。 为 了 提高 
测试 集合 的 运行 速度 和 稳定 性 , 测试 人 员 可 以 考虑 让 这 些 测试 用 例 退役 。 如 果 测 试 人 员 担心 去 除 
测试 用 例会 降低 测试 覆盖 率 ， 他 可 以 检查 代码 覆盖 率 来 确认 删除 测试 是 “安全 的 "。 在 不 显著 降 
低 覆 盖 率 的 情况 下 ， 一 个 稳定 上 且 快速 的 测试 用 例 集 要 明显 优 于 一 个 缓慢 上 且 脆 弱 的 测试 用 例 集 。 


问题 4: 除了 定期 运行 的 自动 化 测试 ， 还 有 了 哪些 测试 用 例 和 测试 工具 ? 


在 一 些 历史 悠久 的 项 目 中 , 项 目 团队 常常 积累 了 大 批 的 自动 化 测试 用 例 。 某 些 测试 用 例 并 没 
有 加 入 正式 的 测试 集合 。 相 关 测 试 负责 人 会 在 合适 的 时 候 ( 如 产品 发 布 前 、 项 目 里 程 碑 结束 前 ) 
运行 它们 ,以 实施 特定 角度 的 测试 。 例 如, 一些 项 目 团队 会 安排 专人 负责 压力 测试 ， 他 维护 了 一 
组 自动 化 测试 。 在 为 期 一 个 月 的 迭代 开发 中 , 他 会 选择 一 个 周末 ,证 自动 化 测试 反复 执行 ， 以 暴 
露 崩溃、 死 锁 、 内 存 泄漏 等 问题 。 周 一 ,他 会 调查 测试 日 志 ， 并 提交 缺陷 报告 。 新 加 入 团队 的 测 
试 人 员 应 该 了 解 这 些 被 暂时 “隐藏 ”的 测试 用 例 ， 考虑 能 否 利用 它们 来 提高 自己 的 测试 效率 。 例 
如 ,他 可 以 考虑 为 自己 的 模块 编写 一 些 自动 化 测试 , 加 入 压力 测试 集合 ,从 而 让 周末 执行 的 压力 
测试 能 够 发 现 该 模块 的 缺陷 ， 以 及 该 模块 和 其 他 模块 交互 所 导致 的 错误 。 


除了 自动 化 测试 用 例 , 项 目 团 队 会 拥有 一 批 实 用 工具 。 它们 通常 切合 软件 产品 或 技术 平台 的 
村 征 ， 能 够 帮助 测试 人 员 高 效 地 完成 配置 环境 、 部 署 产 品 、 运 行 测试 、 调 试 诊断 等 任务 。 有 些 工 
具 虽 不 常用 , 但 对 于 解决 特定 类 型 的 问题 ， 是 不 可 或 缺 的 利器 。 测 试 小 组 新 人 应 该 询问 领导 和 同 
事 , 了 解 团 队 的 测试 工具 及 其 用 途 。 这 不 但 会 提高 测试 人 员 的 工作 效率 , 而 且 可 以 帮助 他 更 好 地 
理解 产品 和 技术 。 
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QQ、 第 8 章 研究 项 目 


由 本 节 的 讨论 可 知 , 研究 与 维护 自动 化 测试 的 目的 是 提高 软件 测试 的 效率 。 为 此 , 测试 人 员 
需要 根据 项 目的 测试 策略 ,注重 实效 地 发 展 自动 化 测试 。 随 着 项 目的 发 展 , 他 需要 持续 地 分 析 并 
调整 自动 化 测试 ， 让 它 快速 、 稳 定 、 有 效 地 提供 软件 的 质量 反馈 。 


8.3 基于 风险 的 测试 


聚焦 风险 是 一 种 基本 的 测试 策略 ， 而 风险 是 大 多 数 测试 活动 需要 考虑 的 基本 元 素 。 对 于 产品 
而 言 ， 风险 是 产品 可 能 唱 遇 的 失败 。 无 论 失败 原因 是 逻辑 错误 还 是 能 力 局 限 ， 只 要 潜在 的 失败 危 
害 了 用 户 价值 ,就 构成 了 风险 。 对 于 项 目 而 言 ， 风 险 是 令 项 目 产 生 不 良 结果 的 事件 , 或 不 良 结 
本 身 [DeMarco03]。 在 概念 上 ， 项 目 风险 涵盖 了 产品 风险 ， 即 产品 可 能 遭遇 失败 是 一 种 典型 的 项 
目 风险 。 


基于 风险 的 测试 ( 简称“ 风险 测试 ” ) 是 针对 特定 风险 设计 并 运行 测试 ， 以 暴露 导致 项 目 失 
败 的 问题 。5.1 节 和 5.5 节 已 经 介绍 了 一 批 基于 风险 的 测试 技术 ， 本 节 将 继续 讨论 一 些 常用 的 测试 
方法 。 


8.3.1 通过 测试 调查 风险 


在 软件 项 目 中 ,风险 是 可 能 存在 的 导致 项 目 受 挫 的 问题 。 该 描述 有 两 层 含义 : 第 一 ， 风 险 并 
不 是 灾难 ， 它 只 是 可 能 发 生 ， 而 非 不 可 避免 ; 第 二 ， 风 险 可 能 转化 为 灾难 ( 称 为 “风险 暴露 ”)， 
给 项 目 带 来 损失 。 因 此 , 测试 人 员 在 考虑 测试 活动 的 优先 级 时 ,要 分 析 相 应 风险 的 暴露 概率 和 损 
失 大 小 。 


O 风险 暴露 的 概率 : 风险 由 潜在 问题 转化 为 具体 失败 的 概率 。 概 率 的 高 低 与 产品 和 团队 的 
特征 相关 。 例 如 ，C++ 程 序 出 现 内 存 汇 漏 的 概率 较 高 ，C# 程 序 不 会 出 现 传统 意义 上 的 内 
存 泄漏 ( 即 不 被 引用 的 动态 内 存 总 是 会 被 垃圾 回收 器 回收 ) 又 例如 , 一 个 组 建 多 年 的 C++ 
团队 积累 了 一 批 好 的 开发 实践 、 程 序 库 、 调 试 工具 和 测试 工具 , 他 们 所 开发 的 C++ 程序 出 
现 内 存 泄漏 的 概率 会 比较 低 。 如 果 团 队 成 员 多 数 是 C++ 新 手 ， 缺 少 足够 的 经 验 和 工具 , 他 
们 所 构建 的 程序 就 较 容易 出 现 内 存 汇 漏 的 问题 。 

O 风险 暴露 的 损失 : 灾难 失败 所 导致 的 价值 损失 。 通 常 ， 破 坏 用 户 数据 的 失败 会 导致 重大 
的 损失 。 试 想 一 下 ， 如 果 软 件 失 败 导 致 用 户 的 数据 库 被 破坏 ， 用 户 基于 错误 的 数据 进行 
了 大 量 的 销售 交易 ， 这 势必 造成 严重 的 财务 损失 。 此 外 ， 软 件 骨 省 等 错误 会 阻塞 用 户 的 
工作 流 ， 使 得 他 们 不 能 正常 完成 业务 ， 也 会 造成 大 量 的 〈 财 务 ) 损失 。 如 果 在 项 目 后 期 
甚至 在 产品 发 布 后 才 发 现 这 些 严 重 的 缺陷 ， 软 件 项 目 会 遭 到 沉重 的 打击 ， 软 件 企业 可 能 
需要 向 用 户 支 付 巨额 赔偿 。 


根据 概率 和 损失 ， 测 试 人 员 可 以 评估 风险 的 优先 级 。 
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8.3 ”基于 风险 的 测试 


O 一 种 定量 的 优先 级 评估 方法 是 : 风险 的 优先 级 = 风险 暴露 的 概率 XxX 风险 暴露 的 损失 , 其 中 
风险 暴露 的 概率 是 0 到 1 之 间 的 浮 点 数 ， 风 险 暴 露 的 损失 用 赔偿 金额 来 评估 。 该 方法 的 优 
点 是 可 以 获得 数值 形式 的 优先 级 。 这 样 ， 测 试 人 员 能 够 对 所 有 风险 进行 线性 排序 ， 使 测 
试 重点 一 目 了 然 。 其 不 足 是 测试 人 员 有 时 很 难 用 金额 去 准确 评估 风险 的 损失 ， 而 且 不 同 
的 人 可 能 给 出 差异 很 大 的 估算 值 ， 令 优先 级 的 评估 结果 存在 争议 。 

测试 人 员 也 可 以 定性 评估 风险 的 优先 级 。 其 中 ， 概 率 的 取 值 集合 是 { 很 低 、 低 、 中 、 高 、 
很 高 |， 损失 的 取 值 集合 是 { 很 小 、 小 、 中 、 大 、 很 大 } 一 般 而 言 ， 高 概率 、 大 损失 的 
风险 拥有 最 高 优先 级 ， 值 得 重点 测试 。 该 方法 的 不 足 是 不 能 对 风险 项 进行 线性 排序 ， 不 
能 立即 判定 两 个 风险 项 的 优先 顺序 。 例 如 ， 一 个 风险 项 是 高 概率 、 小 损失 ， 另 一 个 风险 
是 低 概率 、 大 损失 ， 谁 的 优先 级 更 高 并 没有 统一 的 评判 方法 。 这 时 ， 测 试 人 员 可 以 次 
二 品 经 理 、 领 域 专 家 和 用 户 ， 请 他 们 帮忙 判断 。 


风险 测试 的 主要 任务 是 分 析 项 目 风 险 , 然后 设计 相应 的 测试 来 暴露 失败 。 这 并 不 是 一 个 线性 
的 过 程 ， 它 是 随 项 目 进展 而 迭代 展开 的 。 测 试 专家 Jams Bach 认 为 测试 本 身 就 是 风险 分 析 ， 即 测 
试 人 员 应 该 通过 风险 测试 去 迭代 地 评估 风险 的 概率 、 损 失 和 优先 级 。 他 用 图 8-9 解 释 了 风险 测试 
的 循环 过 程 [Bach11]。 
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图 8-9 ”基于 风险 的 测试 项 目 迭 代 


由 图 8-9 可 知 ， 在 测试 项 目 中 ， 存 在 风险 分 析 的 长 回路 和 短 回路 。 长 回路 贯穿 整个 项 目 周 期 ， 
利用 整个 项 目 来 分 析 领 域 风 险 。 长 回路 包含 如 下 阶段 。 


(1) 进入 新 项 目 。 

(2) 分 析 可 能 的 风险 ,拟定 需要 测试 的 风险 列表 。 这 时 ,测试 人 员 对 产品 和 领域 还 缺乏 了 解 ， 
很 难 提出 针对 性 很 强 的 风险 列表 。 为 了 提高 风险 列表 的 质量 ,他 需要 运用 自身 的 知识 和 经 验 , 还 
要 阅读 相关 测试 文档 、 咨 询 领域 专家 、 请 教 有 经 验 的 同事 等 。 

(3) 短 回路 : 实施 具体 的 测试 ， 然 后 根据 测试 反馈 ， 设 计 新 的 测试 ， 发 掘 新 的 风险 。 
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(4) 回顾 整个 项 目 过 程 ， 分析 所 发 现 的 问题 ， 列 出 项 目 领域 的 常见 风险 。 这 为 今后 的 项 目 提 
供 了 第 一 手 的 风险 分 析 资 料 。 


在 短 回路 中 , 测试 人 员 实 施 具体 的 测试 , 并 根据 测试 所 发 现 的 新 信息 来 评估 风险 。 短 回路 包 
含 如 下 活动 。 

(1) 根据 当前 的 风险 列表 ， 实 施 相 应 的 测试 。 测 试 人 员 可 以 利用 预先 编制 的 测试 脚本 ， 也 可 
以 实施 探索 式 测试 一 一 根据 测试 结果 ， 立 即 设计 新 的 测试 。 通常 , 测试 人 员 很 难 预测 产品 存在 哪 
些 风 险 、 风 险 隐藏 于 哪些 模块 、 风 险 会 以 何 种 形式 暴露 等 问题 ,基于 动态 反馈 的 探索 式 测试 更 适 
合 风险 探测 的 任务 。 

(2) 测试 人 员 评 估 已 经 发 现 的 问题 ， 根 据 实际 情况 推测 其 他 风险 存在 的 可 能 性 。 

(3) 测试 人 员 根 据 评 佑 结果 ， 调 整风 险 列表 。 他 会 补充 新 浮现 的 风险 ， 并 根据 测试 情况 修改 
已 有 风险 的 概率 和 损失 。 

(4) 根据 新 的 风险 列表 ， 测 试 人 员 设计 并 执行 新 的 测试 。 


总 体 而 言 ，James Bach 的 流程 建议 测试 人 员 充 分 利用 测试 的 迭代 性 ， 在 项 目 全 过 程 建 立 风险 
分 析 的 反馈 回路 。 这 有 助 于 尽快 识别 新 出 现 的 问题 ， 并 让 测试 逐渐 通 近 那些 隐藏 的 问题 。 


8.3.2 ”失败 模式 


根据 上 一 小 节 的 讨论 ,风险 列表 是 测试 设计 的 重要 参考 ,， 它 记载 了 产品 可 能 存在 的 问题 。 其 
核心 是 描述 产品 失败 方式 的 失败 模式 ， 它 刻画 了 失败 的 情景 和 特征 [Kaner11]。 


快速 测试 是 一 种 典型 的 基于 风险 的 测试 技术 ( 参见 5.5 节 )。 它 由 一 组 测试 想法 构成 ， 每 个 测 
试想 法 都 针对 某 个 风险 (失败 模式 )。 表 5-4、 表 5-5 和 表 5-6 就 列举 了 大 量 的 测试 想法 和 它们 所 针 
对 的 风险 。 这 些 表 来 源 于 测试 专家 多 年 的 积累 。 他 们 在 测试 工作 中 收集 了 许多 具体 的 缺陷 , 经 过 
分 析 提 炼 ， 获 得 了 一 组 有 代表 性 的 失败 模式 。 针 对 这 组 模式 ， 他 们 提出 了 一 组 测试 想法 ， 并 让 它 
们 经 受 测试 实践 的 打磨 。 其 成 果 是 一 组 易学 易 用 的 失败 模式 和 测试 想法 。 


测试 专家 Cem Kaner 认 为 失败 模式 是 一 种 通用 的 风险 测试 技术 ， 可 以 有 效 地 产生 大 量 的 测试 
想法 。 为 此 ， 他 提供 了 一 组 问题 ， 帮 助 测试 人 员 发 掘 失败 模式 [Kanerl 1]. 
口 针对 产品 的 每 个 模块 或 功能 ， 测 试 人 员 思 考 其 失败 模式 和 测试 方法 。 
m 该 功能 可 能 会 触发 哪些 失败 ， 即 包含 哪些 失败 模式 ? 
m 对 于 特定 的 失败 ， 它 具有 哪些 外 部 特征 ? 
m 如 何 检测 该 失败 ? 
a 检测 该 失败 需要 多 少 测试 资源 ? 


O 在 获得 失败 模式 后 ， 测 试 人 员 可 以 评估 其 影响 ， 即 执行 影响 分 析 。 
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8.3 ”基于 风险 的 测试 


m 该 失败 可 能 有 哪些 影响 ? 
m 其 影响 包含 哪些 变化 因素 ? 

a 该 失败 的 最 严重 损失 是 什么 ? 平均 损失 是 什么 ? 
图 

a 


修复 导致 该 失败 的 缺陷 需要 多 少 资源 ? 
综合 考虑 失败 损失 和 检测 失败 的 成 本 ， 该 失败 模式 值得 被 测试 吗 ? 


利用 以 上 问题 ,测试 人 员 可 以 获得 初始 的 失败 模式 列表 。 除 此 之 外 , 他 还 可 以 参考 其 他 测试 
文档 ， 以 补充 更 多 的 失败 模式 和 测试 想法 。 常 见 的 参考 资料 包括 测试 指南 (3.2.7 节 )、 测 试想 法 
列表 (3.2.8 节 )、 检 查 列表 (3.2.11 节 )、 缺 陷 目 录 (3.21279 ) 等 。 综 合 考虑 他 人 的 研究 成 果 可 以 
更 快 地 产生 测试 想法 ， 并 弥补 自身 知识 和 经 验 的 不 足 。 


随后 ,测试 人 员 将 失败 模式 列表 作为 风险 列表 , 用 来 指导 风险 测试 。 他 将 一 个 失败 模式 看 作 
一 个 风险 ,设计 并 执行 具体 的 测试 来 发 气 缺 陷 。 在 此 过 程 中 ,他 不 但 会 发 现 新 的 软件 缺陷 ,还 会 
学 习 到 新 的 业务 知识 、 产 品 知识 和 技术 知识 。 结 合 这 些 新 发 现 ,他 应 该 积极 评估 现 有 失败 模式 的 
有 效 性 ， 并 补充 新 的 失败 模式 ， 以 产生 新 的 测试 想法 。 该 迭代 过 程 就 是 图 8-10 中 的 短 回路 。 


经 过 短 回路 的 反复 锤炼 ,在 项 目 结束 时 , 测试 人 员 可 以 获得 一 份 针对 当前 领域 和 产品 的 失败 
模式 列表 。 这 为 下 一 轮 长 回路 的 测试 提供 了 坚实 的 基础 。 这 份 列表 不 但 是 测试 计划 的 重要 参考 ， 
还 是 很 好 的 培训 资料 [Kaner11]。 通过 阅读 它 , 测试 小 组 的 新 成 员 能 够 了 解 产 品 特征 , 实施 快速 测 
试 。 通 过 测试 ， 他 们 可 以 更 好 地 学 习 产 品 ， 并 初步 体会 当前 领域 的 主要 风险 。 


8.3.3 项 目 级 别 的 风险 


除了 软件 缺陷 , 测试 人 员 还 需要 考虑 项 目 级 别 的 风险 。 此 类 风险 如 果 转 化 为 灾难 ， 有 可 能 
致 项 目 失败 。 表 8-1 是 Cem Kaner 总 结 的 项 目 级 别 的 风险 [区 anerl1]。 


表 8-1 Cem Kaner 总 结 的 项 目 级 别 的 风险 


风 险 描 述 
新 事物 新 代码 尚 玉 经 过 严格 测试 ， 可 能 包含 较 多 缺陷 
新 技术 新 技术 可 能 引信 一 些 难以 预料 的 问题 
PENES 在 学 习 新 事物 、 新 技术 时 ， 团 队 成 员 更 容易 犯错 
变动 的 事物 代码 变更 可 能 使 已 有 代码 不 能 正常 工作 
糟糕 的 控制 如 果 团 队 不 使 用 源 代码 管理 系统 ， 代 码 文件 会 被 算 改 或 意外 删除 
迟 来 的 变化 有 时 ， 团 队 必须 在 发 布 前 紧急 改动 代码 。 紧 张 的 进度 和 匆忙 的 工作 很 容易 导致 错误 
强压 的 工作 有 时 ， 团 队 承担 了 太 多 的 工作 ， 以 致 于 很 难 高 质量 地 完成 它们 
疲劳 疲惫 的 团队 会 犯 更 多 的 错误 
分 散在 不 同 地 点 的 团队 会 面临 交流 困难 ,缺乏 交流 会 导致 不 一 致 的 理解 ,而 不 一 致 的 理解 会 导致 
分 布 式 的 团队 。 不 能 协同 工作 的 代码 
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(8) 
RO 描述 

其 他 人 员 问 题 团队 由 形形色色 的 人 构成 ， 他 们 可 能 遭遇 各 种 问题 ， 如 醒酒 、 离 异 、 亲 人 去 世 、 两 个 程序 员 彼此 
不 说 话 等 。 这 些 都 会 对 代码 产生 负面 影响 

惊讶 的 功能 某 些 功能 未 得 到 仔细 地 设计 ， 以 致 于 对 其 他 功能 产生 了 不 良 影响 

第 三 方 代码 团队 可 能 不 太 了 解 外 部 代码 ， 也 很 难 修复 其 中 的 缺陷 

未 列 人 计划 一 些 计划 外 的 、 突 然 出 现 的 任务 有 可 能 被 仓促 完成 ， 包 含 许多 错误 

模糊 文档 中 的 模糊 描述 会 导致 不 正确 或 不 一 至 

冲突 的 需求 彼此 冲突 的 需求 有 可 能 损害 一 部 分 关系 人 的 利益 

神秘 的 沉默 当 一 些 重要 的 议题 没有 被 讨论 或 记录 , 它们 可 能 没有 得 到 充分 地 考虑 ,或 者 它们 的 设计 者 试图 隐 
藏 其 中 的 问题 

不 知晓 的 需求 。 ”团队 可 能 漏 掉 了 一 些 正当 的 需求 ， 以 致 于 损害 了 产品 的 质量 

衍 变 的 需求 在 整个 项 目 周 期 ， 需求 都 在 大 幅度 变化 ， 这 很 容易 导致 项 目 失败 

缺陷 丛生 产品 的 每 个 部 分 都 存在 许多 缺陷 

最 近 的 失败 如 果 一 个 功能 最 近 暴 露出 许多 缺陷 ， 那 么 它 可 能 还 隐藏 了 不 少 其 他 问题 

上 游 依赖 一 个 模块 依赖 于 它 的 上 游 模块 。 上 游 模块 的 改动 或 延期 会 导致 该 模块 出 现 问题 

下 游 依赖 一 个 模块 依赖 于 它 的 下 游 模块 。 该 模块 的 改动 或 延期 会 造成 下 游 模块 出 现 问题 

发 散 


无 确定 的 主题 
复杂 
语言 相关 的 错误 
极 少 的 单元 测试 
狭窄 的 测试 策略 
无 力 的 测试 工具 
无 可 修复 
不 可 测试 
负面 报道 


法 律 问 是 
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在 时 间或 空间 上 发 散 又 必须 协同 工作 的 一 组 事物 ， 它 们 的 复杂 性 会 引入 缺陷 
任何 没有 明确 主题 的 函数 或 数据 都 容易 被 误 用 


难以 理解 的 事物 很 难 被 正确 地 构建 
编程 语言 会 引入 一 些 风 险 ， 例 如 C 语 言 的 悬挂 指针 、 内 存 泄 漏 科 
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缺乏 单元 测试 的 项 目 不 具备 基本 的 “开发 安全 网 ” 
狭 罕 的 测试 策略 会 遗漏 大 量 的 缺陷 


如 
一 些 缺 陷 报告 被 解决 为 “不 予 修复 ”， 因 为 没有 人 知道 该 如 何 修复 它们 


果 测 试 工具 不 能 帮助 测试 人 员 发 现 和 分 离 某 类 缺陷 ,那么 该 类 缺陷 可 能 会 被 漏 测 


0 果 测 试 人 员 只 能 缓慢 、 困 难 、 低 效 地 测试 某 个 功能 ， 那 么 该 功能 很 可 能 没 得 到 充分 地 测试 
0 果 某 个 特性 的 失败 会 导致 大 量 的 恶 评 和 负面 报道 ， 它 就 值得 重点 考虑 

[0 果 某 个 特性 的 失败 会 导致 诉讼 ， 它 就 值得 重点 考虑 
0 果 某 个 特性 的 失败 会 导致 重大 伤害 ， 它 就 值得 重点 
[果菜 个 特性 需要 其 行为 或 结果 与 需求 严 丝 合 缝 ， 它 就 值得 重点 考虑 
果 某 个 特性 需要 小 心 使 用 或 用 户 培训 ， 它 就 值得 重点 考虑 

0 果菜 个 特性 特别 受 欢迎 、 被 广大 用 户 使 用 ， 它 就 值得 重点 考虑 
0 果菜 个 特性 对 业务 特别 重要 ， 它 就 值得 重点 考虑 

0 果 某 个 特性 被 重要 人 物 所 使 用 ， 它 就 值得 重点 考虑 


0 果菜 个 特性 的 失败 会 导致 显著 的 后 果 或 令 用 户 愤 怒 ， 它 就 值得 重点 考 


q 
4 
4 
如 
q 
q 
q 
q 
4 


点 
0 果 某 个 失败 会 被 产品 暂时 隐藏 ， 却 最 终 导致 灾难 ， 它 就 值得 重点 考虑 


8.4 小 结 


测试 人 员 可 以 将 表 8-1 当 作 通 用 的 风险 列表 。 在 项 目 之 初 ， 他 根据 该 列表 研究 项 目 和 团队 ， 
分 析出 值得 持续 监控 的 风险 , 并 将 相应 的 测试 想法 写 入 测试 计划 。 在 项 目 过 程 中 , 他 需要 持续 监 
控 产品 的 风险 ， 并 适时 地 调整 风险 列表 和 测试 策略 。 

对 于 许多 项 目 级 别 的 风险 ,单个 测试 人 员 并 没有 资源 加 以 完整 地 监控 。 但是, 测试 人 员 有 责 
任 在 自己 负责 的 领域 实施 风险 测试 , 以 积极 探测 项 目 级 别 的 风险 。 一 旦 发 现 某 个 风险 有 可 能 转化 
为 灾难 ,他 应 该 立即 向 测试 经 理 汇报 。 当 项 目 管 理 者 及 时 地 获得 警报 时 ， 他 们 就 可 以 采取 必要 的 


行动 去 避免 灾难 。 


8.4 小结 


本 童 讨 论 了 如 何 从 测试 的 角度 来 研究 项 目 和 团队 ， 介 绍 了 一 些 实践 方法 。 


口 测试 人 员 应 该 主动 了 解 项 目 团队 的 使 命 、 目 标 和 运作 方式 。 


口 研究 项 目 团队 的 最 佳 方法 是 执行 具体 的 测试 任务 ， 并 积极 地 咨询 与 反思 。 


CO 使 用 语 境 独 立 的 启发 式 问 题 可 以 多 角度 地 研究 项 目 语 境 。 


口 人 ,在 一 起 工作 的 人 ， 是 ; 
口 为 了 更 好 地 与 同事 协作 ,测试 人 员 需 要 了 解 他 们 的 思考 风格 。 

口 积极 主动 的 讨论 是 良好 协作 的 基础 。 

O 从 软件 缺陷 、 源 人 代码、 构建、 自动 化 测试 等 项 目 元 素 中 ， 能 够 获得 许多 有 益 的 测试 信息 。 
口 利用 简单 的 度量 就 可 以 获得 许多 有 价值 的 情报 。 

口 基于 风险 的 测试 针对 项 目 风险 设计 并 运行 测试 ， 以 发 据 可 能 存在 的 问题 。 

口 测试 本 身 就 是 风险 分 析 ， 它 是 一 个 欠 代 过 程 。 

口 在 测试 实践 中 积累 失败 模式 可 以 帮助 测试 小 组 更 好 地 测试 。 

口 测试 人 员 有 责任 监控 和 报告 项 目 级 别 的 风险 。 


项 目 语 境 中 最 重要 的 部 分 。 
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团队 工作 


大 多 数 测试 人 员 都 工作 在 一 个 团队 中 , 其 工作 的 主要 内 容 是 持续 地 向 项 目 团队 和 项 目 关 系 人 
ee 有 时 他 会 长 时 间 地 独立 测试 , 但 最 终 他 还 是 需要 与 团队 成 员 协 作 , 使 技术 调查 的 
结果 推动 产品 的 发 展 。 在 很 大 程度 上 ,测试 人 员 的 工作 价值 取决 于 他 对 项 目 团 队 的 贡献 。 


本 章 探 讨 测试 人 员 如 何 有 效 地 在 团队 中 工作 , 以 及 如 何 恰当 地 实施 测试 管理 。 本 书 的 目标 读 


者 是 第 一 线 的 测试 人 员 , 所 以 本 章 并 不 讨论 测试 经 理 如 何 管理 测试 小 组 ,而 是 分 析 测 试 人 员 如 何 
面 对 项 目 管理 的 一 些 挑战 。 


9.1 工作 风格 


不 同 的 项 目 团队 拥有 不 同 的 工作 风格 ， 这 要 求 测试 人 员 根 据 团 队 情况 来 调整 自己 的 工作 方 
式 。 不 过 , 在 职业 生涯 中 , 测试 人 员 应 该 秉持 一 些 基 本 态度 ,让 它们 指导 具体 的 工作 。 本 节 分 享 
我 的 一 些 心得 ， 仪 供 读 者 思考 。 


9.1.1 测试 人 员 通 过 服务 团队 来 体现 自己 的 价值 


在 项 目 层面 ， 测 试 人 员 应 该 持续 地 提供 高 质量 的 测试 服务 ， 帮 助 项 目 团队 成 功 地 交付 产品 ; 
在 企业 层面 , 测试 人 员 应 该 帮助 公司 去 达成 业务 目标 。 这 是 对 “专业 人 员 ” 的 基本 要 求 , 但 并 不 
容易 做 到 。 


首先 ,测试 人 员 应 该 设 定 正确 的 工作 目标 。 管 理学 大 师 Peter Drucker 指 出 ， 执 行经 理 是 掌管 
自己 时 间 的 价值 并 影响 机 构 执 行 能 力 的 人 , 而 大 多 数 知识 工人 都 是 执行 经 理 [Drucker93]。 在 实际 
测试 中 , 测试 人 员 可 以 决定 技术 调查 的 范围 、 深 度 和 手段 。 即便 项 目 团 队 给 出 了 详细 的 测试 脚本 ， 
测试 人 员 在 测试 运行 、 问 题 调查 ( 蕴含 设计 新 的 测试 用 例 )、 缺 陷 提 交 、 状 态 报 告 等 具体 任务 中 ， 
仍 具 有 很 大 的 自主 性 。 因 此 , 专业 的 测试 人 员 会 主动 将 自己 看 作 执 行经 理 ,， 去 积极 地 设 定 工作 目 
标 ， 有 效 地 利用 时 间 。 


为 了 设 定 正确 的 目标 ， 他 需要 思考 一 系列 问题 。 
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口 公司 的 业务 战略 是 什么 ? 

口 当前 项 目的 使 命 是 什么 ?” 它 如 何 支 持 公 司 的 战略 ? 

口 项 目 团队 的 具体 目标 是 什么 ? 它们 如 何 实现 项 目 团队 的 使 命 ? 
口 我 有 哪些 具体 目标 ? 如 何 让 自己 的 目标 支持 团队 的 使 命 ? 

口 做 哪些 具体 的 工作 才能 实现 自己 的 目标 ? 


回答 这 些 问题 并 不 容易 , 但 只 有 经 过 慎重 的 思考 , 才能 让 个 人 目标 符合 团队 利益 。 许多 时 候 ， 
如 果 测 试 人 员 不 掌握 足够 的 信息 ， 就 难以 制订 合理 的 工作 计划 。 这 时 ,他 可 以 请 教 测试 经 理 和 项 
目 负责 人 ,请 他 们 解释 团队 目标 和 优先 级 。 好 的 领导 会 为 团队 指明 方向 ,并 帮助 测试 人 员 安 排 具 
体 工 作 项 的 优先 级 。 


在 确定 具体 的 工作 项 时 , 测试 人 员 应 该 放宽 视野 , 不 必 计 较 工 作 划 分 的 边界 。 因 为 软件 测试 
是 通过 技术 调查 来 提供 产品 的 质量 信息 , 所 以 测试 人 员 的 工作 核心 是 为 项 目 团 队 和 关系 人 提供 信 
息 服 务 ( 参见 1.2 节 )。 因 此 ， 当 团队 或 关系 人 需要 质量 信息 时 ， 只 要 有 足够 的 空闲 时 间 ， 测 试 人 
员 就 应 该 主动 提供 服务 。 此 外 , 测试 人 员 应 该 意识 到 他 是 测试 小 组 的 一 份子 ， 当 测试 伙伴 需要 帮 
助 时 , 他 也 应 该 积极 响应 。 多 承担 一 些 工 作 会 让 测试 人 员 更 忙碌 , 但 这 也 是 积累 经 验 、 提 升 技能 、 
提升 影响 力 的 好 办 法 。 总 体 而 言 ， 一 个 积极 的 测试 人 员 能 够 更 快 地 成 长 ， 更 有 可 能 脱颖而出 。 


在 设 定 目标 之 后 ,测试 人 员 需 要 认真 地 完成 自己 的 工作 。 坦 率 地 说 , 许多 必 不 可 少 的 测试 工 
作 是 比较 枯燥 的 。 例 如 ,项 目 团队 需要 发 布 一 个 紧急 的 产品 补丁 。 在 修复 代码 签 人 之前, 测试 人 
员 测 试 该 代码 变更 ,检查 它 确实 修复 了 问题 且 没 有 引入 新 的 缺陷 。 在 代码 签 人 之 后 ,构建 服务 器 
产生 了 发 布 给 用 户 的 补丁 。 为 了 发 现 签 人 和 构建 过 程 的 错误 ,测试 人 员 需 要 测试 发 布 版 本 的 补丁 ， 
主要 工作 包括 : 安装 产品 、 测 试 补 丁 的 安装 、 再 次 检查 补丁 确实 修复 了 问题 、 测 试 补丁 的 反 安装 。 
在 大 多 数 情 况 下 ,对 发 布 版 本 的 测试 不 会 发 现 新 问题 ， 而 且 这 部 分 工作 也 没有 技术 挑战 ， 因 为 签 
入 前 的 测试 已 经 解决 了 所 有 技术 问题 。 但 是 ,该 工作 是 必须 的 ,因为 项 目 团队 必须 防备 一 些 难以 
预料 的 小 概率 事件 , 例如 程序 员 在 签 入 时 意外 地 修改 了 一 行 代码 、 男 一 个 程序 员 同 时 签 入 的 代码 
意外 地 和 覆盖 了 本 次 修复 、 男 一 个 团队 同时 签 入 的 代码 与 本 次 修复 不 兼容 等 。 所以， 专业 的 测试 人 
员 会 理解 任务 的 意义 ,用 负责 而 不 是 敷衍 的 态度 去 处 理 一 些 “ 无 起” 的 任务 , 并 让 工作 质量 达到 
团队 认可 的 标准 。 


另 一 种 积极 面 对 “ 无 聊 ” 工 作 的 方法 是 用 创新 思维 来 重新 思考 任务 。 例 如 , 在 测试 补丁 的 活 
IF, 机械 且 宛 长 的 手工 操作 包括 : 安装 产品 、 安 装 已 经 发 布 的 补丁 、 安 装 被 测 补 本 等。 为 了 提 
高 效率 , 测试 人 员 可 以 编写 一 个 脚本 ,去 自动 完成 这 些 安装 操作 。 这 将 一 个 枯燥 的 手工 任务 转变 
为 一 个 自动 化 挑战 。 也 许 编写 自动 化 脚本 的 时 间 会 比 手工 安装 的 时 间 多 5 倍 。 但 是 ， 通 过 编写 脚 
本 ， 测 试 人 员 提 升 了 编程 能 力 ， 学 习 了 安装 产品 和 补丁 的 知识 ， 这 对 于 他 未 来 的 工作 大 有 神 益 。 
此 外 ， 该 脚本 可 以 分 享 给 测试 小 组 ， 以 提升 团队 的 整体 效率 。 可 见 ， 用 进取 心 看 待 平凡 的 工作 ， 
就 能 够 发 现 它 不 平凡 的 一 面 。 


“289 - 


Q 9% 团队 工作 


9.1.2 测试 人 员 应 该 正直 


对 测试 人 员 而 言 , 正直 是 客观 公正 地 处 理工 作 并 始终 诚实 地 报告 质量 问题 。 在 许多 项 目 环境 
中 ， 该 价值 观 会 受到 各 种 挑战 ,测试 人 员 需 要 受 善 应 对 。 


对 于 一 些 程序 员 而 言 ， 缺 陷 报告 传递 的 是 一 种 “负面 ”信息 。 当 程序 员 接 到 缺陷 报告 后 ， 他 
不 得 不 放下 更 有 趣 的 新 功能 开发 , 转 而 去 调查 某 个 疑难 杂 症 。 这 打 断 了 他 的 工作 流 , 引入 了 任务 
切换 的 开销 ， 带 来 了 额外 的 工作 。 一 旦 决定 修复 该 缺陷 , 他 还 需要 编写 、 测 试 、 签 人 代码 ， 这 会 
耗费 他 更 多 的 时 间 。 此 外 ， 有些 程 序 员 认为 缺陷 报告 是 对 其 工作 的 批评 与 质疑 , 这 在 无 形 中 令 f 
对 缺陷 报告 怀 有 戒备 之 心 。 因 此 ,专业 的 测试 人 员 应 客观 地 传递 信息 , 应 该 报告 的 是 产品 需要 和 外 
决 的 问题 ， 而 不 是 对 任何 人 的 批评 。 用 责备 或 轻视 的 语气 报告 缺陷 对 于 解决 缺陷 并 没有 帮助 , 反 
而 激 起 了 充满 自我 保护 的 辩论 ， 让 相关 人 员 的 注意 力 偏 离 了 缺陷 本 身 。 


对 于 一 些 项 目 负责 人 而 言 ， 缺 陷 报告 也 不 是 “好 消息 ”， 它 们 常常 代表 了 严重 的 产品 问题 ， 
增 大 了 项 目 延 期 的 可 能 性 。 因 此 ,在 项 目 结束 前 夕 ， 他 对 缺陷 报告 的 第 一 反应 是 :“ 为 什么 (你 ) 
现在 才 发 现 这 个 问题 ? ”或 “这 为 什么 是 一 个 问题 ?”。 如 果 其 语气 暗示 出 质疑 或 责备 ， 那 么 传 
递 “ 坏 消息 ”的 测试 人 员 将 承担 很 大 的 压力 。 面 对 此 类 情况 ， 测 试 人 员 应 该 坚持 如 实 报告 问题 ， 
为 作为 信息 服务 者 , 诚实 可 信和 是 测试 人 员 的 最 基本 要 求 。 隐 螨 或 扭曲 信息 会 伤害 测试 人 员 的 信 
誉 ， 也 会 伤害 项 目 。 在 这 里 ， 我 分 享 一 个 自己 的 教训 "。 


a 


A S 


在 一 个 Web 服 务 发 布 前 夕 ， 我 发 现 了 一 个 严重 的 前 溃 缺 陷 。 在 接 到 通知 后 ， 程 序 员 
提供 了 一 份 包含 修复 的 私有 构建 。 经 过 近 一 周 的 压力 测试 , 我 相信 当前 的 私有 构建 不 存 
在 崩溃 问题 。 我 将 这 一 信息 口头 报告 给 程序 员 ， 通 知 他 可 以 签 入 修正 代码 。 

在 发 现 前 溃 、 诊 断 故 障 、 测 试 私有 构建 、 报 告 测试 结果 的 过 程 中 ， 我 并 没有 在 缺陷 
管理 系统 中 记录 相应 的 缺陷 。 事 后 证 明 我 没有 用 缺陷 来 追踪 前 溃 问 题 是 严重 失职 ,但 那 
时 我 也 有 “充分 ”的 理由 。 

首先 ， 当 时 处 于 发 布 前 夕 , 缺陷 修复 规则 是 任何 新 发 现 的 缺陷 都 要 在 24 小 时 之 内 修 
正 ， 或 放 到 下 一 次 发 布 再 修正 。 这 次 的 前 溃 非 常 复杂 ， 我 分 析 内 存 转 储 文件 时 没有 把 握 
可 以 在 24 小 时 内 找到 解决 方法 。 即 便 拿 到 了 私有 构建 ， 我 也 需要 几 天 的 时 间 来 做 压力 测 
试 ， 才 能 检验 修复 的 有 效 性 。 我 不 记录 缺陷 ， 是 为 了 争取 更 多 的 时 间 。 

其 次 ， 管 理 层 对 24 小 时 的 时 间 窗 口 非常 重视 ， 总 是 在 催促 程序 员 修 正 错误 ， 或 将 不 
严重 的 错误 推迟 到 未 来 的 发 布 ,这 在 心理 上 给 程序 员 巨 大 的 压力 ,大 家 在 潜意识 中 认为 ， 
如 果 不 能 在 24 小 时 内 “搞定 ”缺陷 ， 自 己 的 工作 绩效 会 受到 影响 。 程序 崩溃 是 严重 的 问 


全 关于 该 缺陷 的 来 龙 去 脉 请 参考 我 的 博客 文章 : http:/www.cnblogs.com/liangshi/archive/2010/09/05/1818554.html , 
http://www.cnblogs.com/liangshi/archive/2010/09/07/1820540.html ， http://www.cnblogs.com/liangshi/archive/2010/09/ 
09/1822015.html。 
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题 ， 但 是 其 根源 是 一 个 很 难 重 现 的 .NETCLR (Common Language Runtime ) 缺陷 。 提 交 
这 样 一 个 可 能 不 那么 “要 紧 ” 的 缺陷 ， 如 果 程 序 员 不 能 在 24 小 时 修正 ， 会 不 会 对 他 的 个 
人 绩效 产生 负面 影响 ”他 会 不 会 受到 管理 层 的 质疑 ? 

当时 ， 我 以 为 程序 员 在 得 到 修复 有 效 的 测试 结果 后 ,会 在 某 次 签 入 中 “顺便 ”包含 
该 代码 变更 。 但是， 在 发 布 的 最 后 阶段 ， 只 有 修正 缺陷 的 代码 变更 才能 签 入 。 那 位 程序 
员 手 上 恰恰 没有 缺陷 ( 这 是 我 始 料 未 及 的 )， 他 也 觉得 CLR 的 缺陷 在 产品 环境 中 丽 怕 不 
会 复 现 ， 于 是 没有 签 入 修正 。 

大 约 一 个 月 以 后 ， 该 服务 在 产品 环境 中 崩 演 。 从 症状 上 看 ， 就 是 我 所 发 现 的 缺陷 。 
我 到 那 时 才 知 道 ， 产 品 代码 中 不 包含 程序 员 的 修正 。 现 在 看 来 ， 不 正式 记录 该 缺陷 有 以 
下 问题 。 

第 一 ， 管 理 层 不 知道 该 缺陷 的 情况 。 他 们 将 根据 不 准确 的 信息 作出 发 布 决策 。 

第 二 ， 在 发 布 前 ， 所 有 的 流程 都 围绕 缺陷 展开 。 不 记录 缺陷 ， 就 不 能 “合法 ”地 答 
入 代码 ， 就 不 能 修复 前 溃 。 

第 三 ,不 记录 缺陷 ,就 没有 一 个 文档 正式 记录 问题 症状 、 调 试 结果 、 修 复 进度 、 测 
试 进度 。 缺 陷 记 录 可 以 协调 程序 员 、 测 试 人 员 、 项 目 管理 者 来 共同 解决 严重 的 问题 。 

第 四 ,缺陷 是 团队 学 习 的 最 佳 素材 之 一 。 不 把 如 此 有 教 益 的 缺陷 记录 下 来 ， 是 团队 
积累 的 一 个 损失 。 

幸运 的 是 ， 服务 重 启 后 能 够 继续 工作 ， 对 业务 影响 不 大 。 经 过 讨论 , 我 们 决定 在 两 
周 后 发 布 补丁 ， 以 修正 该 崩 演 和 其 他 一 些 问 题 。 

再 次 反思 该 缺陷 处 理 过 程 ， 不 难 获得 如 下 结论 。 

第 一 ， 流 程 的 出 发 点 可 能 和 结果 背道而驰 。 要 求 在 24 小 时 内 修复 新 间 题 ， 是 为 了 让 代 
码 中 的 缺陷 持续 减少 。 但 是 ,许多 缺陷 难以 在 24 小 时 内 被 修复 。 在 压力 下 ,项 目 团队 可 能 
选择 不 在 当前 发 布 修复 该 缺陷 。 这 使 得 代码 中 的 缺陷 被 “隐藏 ”了 ， 而 不 是 被 修复 了 。 

第 二 ,管理 层 应 该 营造 一 种 鼓励 报告 缺陷 的 氛围 ,这 使 得 发 布 决策 能 够 基于 真实 的 
情况 。 

第 三 ， 当 缺陷 处 理 ( 报告、 修复 、 检 验 ) 与 个 人 绩效 联系 在 一 起 时 ， 缺 陷 报告 与 缺 
陷 修 复 的 积极 性 可 能 会 被 压抑 。 

第 四 ， 即 便 流程 不 会 评估 个 人 绩效 ,只 要 开发 者 心理 上 感觉 它们 之 间 有 联系 ,他 们 
的 行为 也 会 受到 影响 。 

第 五 ， 作 为 专业 的 测试 人 员 ， 发 现 问题 一 定 要 报告 。 报 告 可 以 讲 策略 和 时 机 ， 但 是 
不 能 将 问题 “吞没 "。 对 于 这 次 的 前 溃 问 题 ， 我 应 该 第 一 天 就 提交 到 缺陷 管理 系统 。 由 
于 它 复 现 的 概率 不 高 ， 我 们 可 以 将 它 推迟 到 下 一 个 发 布 周期 。 与 此 同时 ， 我 们 可 以 尽 可 
能 寻找 解决 方案 。 一 旦 找到 修复 方法 ,就 将 该 缺陷 移 回 到 当前 发 布 周 期 ,然后 签 入 代码 
将 其 修正 。 


Tom DeMarco 和 Tim Lister 在 经 典 著作 《人 件 》 中 指出 软件 项 目的 主要 问题 是 社会 学 问题 
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[DeMarco99]。 因 为 测试 人 员 的 主要 工作 是 传递 对 项 目 和 团队 有 影响 的 信息 ， 他 会 面临 更 多 的 人 
际 关系 方面 的 挑战 。 对 此 ,他 应 该 乘 持 正直 的 价值 观 ， 以 诚实 的 态度 提供 信息 服务 。 这 上 比 随 波 逐 
流 、 人 云 亦 云 要 困难 许多 ,但 却 是 发 展 职业 生涯 的 正路 。 


9.1.3 ”测试 人 员 的 影响 力 来 自 于 出 色 的 工作 


如 2.1 节 所 论述 ,测试 人 员 报 告 缺陷 是 为 了 让 缺陷 得 到 修复 ， 这 往往 要 求 他 说 服 程序 员 和 缺 
陷 评 审 小 组 去 采取 修复 行动 。 一 个 总 是 让 缺陷 得 到 修复 的 测试 人 员 , 无 论 他 的 头衔 是 什么 , 总 是 
拥有 实质 性 的 影响 力 。 这 种 影响 力 的 根源 来 自 于 测试 人 员 的 优秀 工作 , 以 及 在 工作 中 表现 出 的 技 
术 能 力 。 


对 于 测试 人 员 而 言 ， 出 色 的 工作 通常 体现 为 : 他 的 测试 策略 是 产品 相关 、 聚 焦 风 险 、 多 种 多 
样 、 注 重 实效 的 (参见 5.7 节 ); 他 让 测试 学 习 、 测 试 设计 、 测 试 执行 和 测试 评估 成 为 相互 支持 的 
活动 ,通过 快速 地 测试 迭代 ,持续 发 现 产 品 缺 陷 ; 他 对 于 发 现 的 缺陷 进行 必要 的 技术 调查 ， 为 缺 
陷 的 评 佑 、 复 现 、 修 复 等 活动 提供 高 质量 的 信息 ; 他 撰写 了 客观 、 严 谨 的 缺陷 报告 ,让 程序 员 和 
缺陷 评审 小 组 能 够 快速 地 理解 缺陷 的 来 龙 去 脉 ; 他 积极 主动 , 乐于 助人 , 用 高 效 的 技术 调查 来 回 
答 团 队 成 员 的 疑问 ,一 个 工作 出 色 的 测试 人 员 会 逐渐 在 团队 中 建立 自己 的 信誉 ,那些 见证 其 工作 、 
接受 其 服务 的 团队 成 员 自 然 会 认可 他 的 表现 ， 并 相信 他 可 以 提出 有 价值 的 观点 。 


除了 测试 技术 , 测试 人 员 还 需要 扩展 自己 的 知识 面 。 在 与 产品 经 理 讨论 产品 时 ,他 需要 掌握 
足够 的 领域 知识 和 产品 知识 。 在 与 程序 员 讨 论 设计 时 , 他 需要 掌握 足够 的 开发 知识 。 一 个 测试 人 
员 常 面临 的 困境 是 ， 当 他 提出 一 些 技术 建议 ,程序 员 可 能 流露 出 不 悄 的 态度 :“ 你 作为 一 个 (不 
了 解 软件 设计 的 ) 测试 人 员 ， 有 什么 资格 要 求 程序 员 采 纳 你 的 意见 ? ”从 长 远 看 ， 克 服 该 困境 的 
唯一 途径 是 测试 人 员 具 备 接近 程序 员 的 软件 开发 能 力 。 这 要 求 测试 人 员 学 习 产 品 平台 、 程 序 语言 、 
设计 模式 和 调试 技术 , 并 通过 测试 实践 逐步 理解 产品 架构 和 代码 。 具 备 产 品 知识 和 开发 技术 的 测 
试 人 员 能 够 提出 有 洞察 力 的 意见 , 虽然 并 不 是 所 有 的 意见 都 会 被 接纳 , 但 是 好 的 意见 可 以 为 他 赢 
得 项 目 团队 的 认可 ， 并 逐渐 增强 他 的 影响 力 。 


9.1.4 ”信任 程序 员 的 努力 ， 并 用 技术 调查 检验 其 工作 


如 果 测 试 人 员 和 希望 团队 成 员 可 以 信任 自己 , 他 就 需要 先 信任 别人 。 一 个 内 心 “ 疑 邻 瓷 佐 ” 的 
人 会 流露 出 对 他 人 的 不 信任 , 这 反 过 来 也 会 导致 他 不 被 信任 ,因为 团队 成 员 不 认为 他 是 客观 公正 
的 。 在 绝 大 多 数 团队 中 ， 测 试 人 员 应 该 秉持 的 基本 理念 是 : 所 有 团队 成 员 都 希望 项 目 获得 成 功 ， 
都 在 尽 自己 的 努力 来 提高 产品 的 质量 。 那么 , 测试 人 员 应 该 无 条 件 地 相信 程序 员 对 代码 改动 的 描 
述 吗 ? 答案 是 ,测试 人 员 需 要 用 技术 调查 来 检验 其 描述 的 正确 性 。 


本 书 开篇 就 指出 软件 的 复杂 度 已 经 超越 人 的 理解 能 力 。 面 对 复杂 且 变 化 的 代码 , 任何 人 都 不 
能 保证 他 的 代码 变更 总 是 正确 无 误 。 信 任 一 个 人 , 并 不 意味 着 相信 他 不 会 犯错 。 任何 人 都 有 盲点 ， 
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都 有 思考 不 周 的 情况 , 即便 努力 工作 也 会 在 代码 中 引入 一 些 错 误 。 测 试 的 任务 就 是 用 全 新 的 眼光 
考察 产品 ， 发 现 其 中 的 问题 。 当 程序 员 说 “这 段 代码 改动 影响 很 小 , 没有 问题 “时 ,他 的 言 下 之 
意 其 实 是 “在 我 所 知道 的 情景 中 ， 这 段 代 码 改 动 没 有 问题 "。 在 测试 时 ,测试 人 员 应 该 参考 程序 
员 的 见解 ,安排 一 些 测试 去 检查 程序 员 已 知 的 情景 , 更 要 通过 各 种 途径 去 挖掘 程序 员 遗 漏 的 情景 。 
那些 “意料 之 外 ”的 情景 很 可 能 会 暴露 软件 缺陷 。 


9.2 测试 管理 


在 测试 管理 上 , 测试 经 理 从 项 目 整 体 出 发 , 会 组 织 与 安排 各 种 测试 活动 。 作 为 执行 经 理 ， 测 
试 人 员 负 责 具体 的 测试 任务 , 也 应 该 积极 计划 并 管理 自己 的 工作 。 本 节 讨 论 一 些 测试 管理 的 基本 
关注 点 。 


9.2.1 个 人 测试 计划 应 该 是 项 目测 试 计划 的 延伸 


通常 ,测试 经 理 或 资深 测试 人 员 会 编写 项 目的 测试 计划 ,将 整个 项 目 过 程 划 分 为 几 个 里 程 碑 ， 
并 定义 每 个 阶段 的 起 止 时 间 、 预 定 目标 、 测 试 任务 和 测试 执行 者 ( 参见 2.1 节 )。 作 为 具体 任务 的 
负责 人 , 测试 人 员 需 要 在 总 体 测试 计划 的 基础 上 , 将 测试 任务 转化 为 一 系列 小 的 测试 目标 , 并 拟 
定 相 应 的 测试 策略 。 这 是 一 个 具体 化 的 过 程 ， 将 一 个 概括 描述 的 任务 转化 为 一 组 明确 的 工作 项 。 
对 于 每 个 工作 项 ， 测 试 人 员 都 可 以 思考 以 下 几 点 。 


口 测试 对 象 : 该 工作 项 测试 哪些 模块 、 功 能 、 质 量 特性 和 用 户 情 景 ? “测试 完成 ”的 定义 

是 什么 ? 

口 测试 策略 : 使 用 哪些 方法 来 测试 ? 有 哪些 测试 想法 ?需要 针对 哪些 项 目 风 险 ? 

口 测试 资源 : 完成 任务 需要 哪些 软件 和 硬件 资源 ? 是 否 需要 编写 测试 工具 ? 是 否 需 要 其 他 

测试 人 员 的 协助 ? 

口 测试 时 限 : 测试 活动 何 时 开始 和 结束 ”在 这 期 间 ， 投 入 多 少 精力 在 该 测试 任务 中 ? 如 果 
测试 活动 不 能 按时 完成 (可 能 原因 包括 测试 资源 不 足 、 阻 碍 测试 进展 的 严重 缺陷 、 突 然 
出 现 的 高 优先 级 任务 等 )， 应 该 如 何 处 理 ? 

口 测试 成 果 : 测试 活动 的 成 果 是 什么 ”需要 提交 哪些 测试 报告 ? 需要 将 哪些 自动 化 测试 交 

付 使 用 ? 需要 交付 哪些 测试 工具 ? 


经 过 细 化 , 测试 人 员 可 以 将 一 个 里 程 碑 级 别 的 任务 分 解 为 一 组 工作 项 。 在 安排 工作 项 的 进度 

时 ， 他 应 该 形成 稳定 的 测试 节奏 ， 即 利用 测试 的 迭代 过 程 ， 以 固定 的 周期 来 执行 和 报告 工作 项 。 
以 下 是 几 种 常见 的 测试 周期 方案 ， 表 9-1 是 它们 的 示例 。 

口 以 里 程 碑 为 测试 欠 代 周期 。 许 多 研发 团队 采用 迭代 开发 的 流程 ， 友 代 周 期 通常 为 2~4 周 。 

测试 人 员 可 以 沿用 此 开发 周期 来 安排 测试 工作 的 迭代 。 因 为 测试 人 员 需 要 快速 、 持 续 地 

反馈 产品 质量 ， 所 以 测试 迭代 周期 在 实践 上 应 该 小 于 里 程 碑 。 如 果 里 程 碑 的 持续 时 间 为 
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2~3 个 月 ， 那 么 测试 迭代 周期 不 宜 超 过 4 周 。 

口 以 周 为 测试 迭代 周期 。 测 斌 人员 以 周 为 时 间 单 位 规划 自己 的 工作 ， 以 执行 工作 项 和 发 送 
测试 报告 。 该 方法 利用 自然 周 这 个 天 然 的 工作 单元 ， 能 够 方便 地 规划 工作 ， 并 持续 地 报 
告 产品 的 质量 信息 。 

口 以 构建 为 测试 迭代 周期 。 对 于 一 些 需 要 在 短 时 间 内 完成 的 测试 任务 ( 如 测试 需要 快速 发 
布 的 产品 补丁 )， 测试 人 员 可 以 用 构建 来 安排 测试 工作 。 通 常 的 策略 是 ， 第 一 轮 测试 全 面 
覆盖 代码 变更 ,第 二 轮 测试 针对 第 一 轮 测试 发 现 的 缺陷 ， 且 检查 缺陷 修复 是 否 引 入 新 的 
缺陷 ,第 三 轮 测 试 针对 第 一 、 二 轮 发 现 的 缺陷 ， 并 执行 回归 测试 。 


表 9-1 ”以 测试 周期 安排 工作 项 
里 程 碑 (项 目 计划 》 以 里 程 碑 为 测试 迭代 周期 以 周 为 测试 迭代 周期 以 构建 为 测试 迭代 周期 
工作 项 A: 构建 1 
工作 项 A - 作 项 A 工作 项 A: 构建 2 
- 作 项 B 工作 项 A: 构建 3 
- 作 项 C 工作 项 B 
- 作 项 C 


工作 项 D - 作 项 D 
工作 项 E MEWE 


- 作 项 F 工作 项 F 
- 作 项 G - 作 项 G 


对 于 不 同 的 工作 项 , 测试 人 员 可 以 采用 不 同 的 工作 周期 。 对 于 紧急 的 工作 , 他 需要 以 构建 为 
周期 。 对 于 不 紧急 且 低 优先 级 的 工作 ,他 可 以 采用 里 程 碑 为 周期 。 对 于 大 多 数 工作 ， 以 周 为 迭代 
周期 是 较 好 的 选择 。 如 果 一 个 工作 项 较 大 , 不 能 在 一 周 的 时 间 内 完成 , 测试 人 员 可 以 将 其 拆 分 成 
否 干 小 工作 项 ， 以 放 入 周 迭 代 中 。 


9.2.2 制订 个 人 测试 计划 时 应 该 综合 考虑 各 种 项 目 元 素 


3.2.1 节 介绍 了 启发 式 测试 计划 的 语 境 模型 HTPCM， 它 根据 项 目 语 境 (软件 开发 、 测 试 团队 、 
测试 实验 室 、 项 目 需求 )， 来 决定 测试 任务 和 测试 过 程 。 这 是 一 个 有 价值 的 参考 模型 ， 提 出 了 一 
组 影响 测试 任务 和 过 程 的 项 目 元 素 。 测 试 人 员 可 以 用 它 评估 当前 状态 , 从 而 制定 具体 的 测试 工作 
项 。 此 外 ， 他 还 可 以 利用 启发 式 测试 策略 模型 ( 参见 4.2.1T ) 和 项 目 风险 列表 (参见 8.3.1T ) 来 
多 角度 地 思考 项 目 风 险 , 并 安排 相应 的 测试 活动 。 在 此 基础 上 ， 本 市 将 从 测试 协作 的 角度 来 讨论 
个 人 测试 计划 。 

许多 时 候 , 测试 人 员 直 接 与 程序 员 协 作 。 程序 员 发 布 构建 给 测试 人 员 , 测试 人 员 测 试 构建 并 


报告 缺陷 。 随 后 ,程序 员 修 复 缺 陷 ， 发 布 新 构建 ,测试 人 员 开 始 新 一 轮 的 测试 。 在 此 过 程 中 ， 测 
试 人 员 需 要 考虑 如 下 问题 。 
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口 整个 代码 编写 与 测试 的 循环 需要 在 何 时 结束 ?” 最终 的 代码 需要 在 何 时 签 人 ? 

口 为 了 确保 代码 达到 预期 的 质量 标准 ， 应 该 做 哪些 测试 ”完成 这 些 测试 需要 多 长 时 间 ? 

口 如 果 程 序 员 迟 迟 不 能 发 布 构建 , 使 得 可 用 的 测试 时 间 少 于 必须 的 测试 时 间 , 应 该 如 何 处 理 ? 
O 如 果 代码 存在 许多 严重 缺陷 , 使 得 测试 工作 被 阻塞 , 以 致 于 难以 按时 完成 , 应 该 如 何 处 理 ? 
O 能 否 与 程序 员 沟 通 ， 请 他 提前 发 布 (私有 ) 构建 ， 使 得 一 些 测试 工作 可 以 提前 开始 ? 

口 如 果 测 试 构建 需要 大 量 的 时 间 ， 能 不 能 向 测试 经 理 申 请 更 多 的 资源 ”例如 ， 请 测试 经 理 
安排 几 个 同事 一 起 测试 该 构建 ， 通 过 并 行 工作 来 加 速 测 试 。 


为 了 缓解 代码 不 能 按时 完成 的 风险 ,测试 人 员 需 要 加 强 与 同事 的 合作 。 一 方面 ,他 要 与 程序 
员 密 切 交 流 ， 了 解 他 的 工作 进度 ,并 尽 可 能 提供 快速 的 测试 服务 。 许 多 程序 员 愿 意 提前 发 布 私有 
构建 ,让 测试 人 员 了 解 新 设计 。 虽 然 这 些 构 建 可 能 不 提供 完整 的 功能 , 但 是 提供 了 设计 和 实现 的 
详细 信息 ， 是 很 有 帮助 的 测试 参考 。 作 为 回报 , 测试 人 员 向 程序 员 报告 私有 构建 中 的 问题 ,让 他 
可 以 快速 地 修复 缺陷 。 对 于 私有 构建 , 测试 人 员 和 程序 员 可 以 约定 最 方便 的 缺陷 报告 方法 , 例如 
口头 报告 、 邮 件 报告 、 正 式 报 告 等 。 良 好 的 互动 可 以 让 代码 更 快 地 稳定 下 来 ， 从 而 按时 签 入 。 在 
代码 签 人 后 ， 测 试 人 员 需 要 遵循 日 常 流程 ， 用 正式 的 缺陷 报告 记录 构建 中 的 问题 。 


另 一 方面 , 测试 人 员 需 要 及 时 向 测试 经 理 报告 测试 进度 。 如 果 测 试 存在 延 后 的 风险 , 或 已 经 
延 后 ,测试 人 员 应 该 立即 向 测试 经 理 报 告 。 不 要 隐藏 此 类 “ 坏 消息 ”， 这 会 让 测试 人 员 处 于 不 利 
的 局 面 。 测 试 人 员 的 工作 是 提供 产品 的 质量 信息 ， 而 产品 不 能 按时 完成 就 是 很 重要 的 质量 信息 ， 
需要 让 项 目 关 系 人 知晓 。 隐藏 不 报 是 一 种 失职 行为 , 会 让 测试 人 员 的 信誉 受 损 。 在 报告 之 后 , 测 
试 经 理 可 以 与 其 他 项 目 管理 者 协作 ,运用 更 多 的 资源 ,以 帮助 测试 人 员 和 程序 员 来 解决 问题 。 例 
如 ,他 们 会 指派 资深 程序 员 来 解决 复杂 的 缺陷 , 或 安排 更 多 的 测试 人 员 来 加 速 测试 。 保 持 信息 畅 
通 更 有 助 于 问题 的 解决 。 

除了 与 程序 员 协 作 , 测试 人 员 之 间 也 有 许多 合作 机 会 。 例 如 ， 在 大 型 项 目的 集成 测试 中 , 测 
试 小 组 的 所 有 成 员 都 会 去 测试 同一 个 系统 , 甚至 多 个 测试 小 组 需要 相互 配合 来 完成 整个 系统 的 测 
试 。 在 此 过 程 中 ,测试 人 员 和 需要 考虑 如 何 进 行 测 试 协作 。 以 下 是 一 些 启发 式 问题 。 

口 掌握 集成 测试 的 时 限 和 目标 。 

a 集成 测试 预期 在 何 时 完成 ? 总体 目标 是 什么 ? 
a 一 共有 几 轮 测试 ”每 一 轮 测 试 预期 何 时 完成 ”每 一 轮 测试 的 目标 是 什么 ? 

口 了 解 测试 合作 者 和 他 们 的 职责 。 

m 有 哪些 测试 小 组 参与 集成 测试 ?各 个 小 组 负责 
m 有 哪些 测试 人 员 参 与 集成 测试 ?每 个 人 负责 完 
a 我 的 测试 小 组 负责 什么 任务 ? 

a 我 的 测试 小 组 有 哪些 人 参与 集成 测试 ? 每 个 人 负责 完成 什么 任务 ? 


完成 什么 任务 ? 
成 什么 任务 ? 
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口 理 清 测试 依赖 ， 并 为 可 能 出 现 的 问题 制定 应 对 方案 。 


mw 还 有 哪些 组 件 会 影响 我 所 测试 的 组 件 ? 这 些 组 件 的 测试 负责 人 是 谁 ” 我 们 如 何 协作 ? 
a 我 所 测试 的 组 件 会 影响 哪些 组 件 ? 这 些 组 件 的 测试 负责 人 是 谁 ? 我 们 如 何 协作 ? 

m 如 果 某 个 组 件 存在 严重 缺 隐 ， 使 得 我 无 法 测试 我 的 组 件 ， 我 应 该 如 何 处 理 ? 

m 如 果 我 的 组 件 存在 严重 缺陷 ， 使 得 其 他 测试 人 员 无 法 测试 其 组 件 ， 我 应 该 如 何 处 理 ? 


O 考虑 测试 人 员 之 间 的 协作 方式 。 


n 通常 ， 集 成 测试 总 负责 人 会 召开 例会 ， 邀 请 所 有 参与 集成 测试 的 测试 人 员 (或 测试 小 
组 的 代表 ) 参与 。 例 会 将 通报 每 个 组 件 的 测试 进度 ， 并 协调 测试 工作 。 如 果 没 有 这 样 
的 例会 ， 谁 可 以 召集 测试 人 员 来 协调 工作 ?” 我 可 以 召集 吗 ? 

a 例会 有 哪些 固定 的 议题 ? 我 所 关心 的 议题 会 被 讨论 吗 ? 我 可 以 提出 新 的 议题 吗 ? 

m 例会 如 何 处 理 集成 测试 中 的 协作 问题 ?如 何 形 成 决议 ? 

除了 例会 ， 还 有 哪些 正式 或 非 正式 的 测试 协作 方式 ? 


口 定期 报告 测试 进度 。 


n 谁 会 发 送 测试 报告 给 所 有 关系 人 ， 以 报告 整体 的 测试 进展 ? 我 如 何 向 他 提供 信息 ? 
a 我 如 何 发 送 测试 报告 给 我 的 项 目 团 队 ， 以 便 从 我 们 的 视角 来 检视 测试 进展 ? 
a 我 的 测试 经 理 期 望 我 如 何 报 告 测 试 进展 和 测试 结果 ? 


集成 测试 是 一 项 风险 性 比较 高 的 测试 活动 , 在 测试 环境 、 测 试 情景 、 上 下 游 依赖 、 缺 陷 侦 测 、 
故障 诊断 、 缺 陷 修复 、 进 度 同步 等 方面 较 组 件 级 测试 复杂 得 多 。 为 了 及 时 处 理 测试 过 程 中 浮现 的 
问题 ,测试 人 员 需 要 与 测试 同事 紧密 协作 。 定 期 召开 的 例会 是 常见 的 协作 活动 ,能 够 协调 不 同 部 
门 的 测试 人 员 ， 以 共同 解决 一 个 部 门 不 能 处 理 的 问题 。 如 果 当 前 的 集成 测试 没有 例会 ,测试 人 员 
应 该 在 测试 经 理 许可 的 情况 下 , 主动 组 织 测试 协调 会 议 , 并 邀请 相关 测试 负责 人 参与 。 一 般 而 言 ， 
例会 应 该 聚焦 大 部 分 测试 人 员 关 注 的 议题 : 介绍 当前 集成 测试 的 进度 、 公 布 那些 影响 或 阻碍 集成 
测试 的 问题 、 讨 论 多 部 门 协作 才能 解决 的 问题 、 安 排 下 一 轮 测 试 的 工作 等 。 在 会 议 上 , 测试 人 员 
应 该 积极 发 言 ， 提 出 急需 解决 的 缺陷 和 重大 项 目 风 险 , 争取 其 他 部 门 测试 人 员 的 支持 , 也 向 他 们 
提供 帮助 。 除 了 例会 ,测试 人 员 之 间 还 可 以 通过 面谈 、 电 话 、 邮 件 、 即 时 通信 等 多 种 方式 快速 地 
交换 信息 ， 以 提高 测试 协作 的 效率 。 


在 集成 测试 过 程 中 , 测试 人 员 应 该 频繁 地 向 测试 经 理 报告 测试 进展 。 因 为 集成 测试 可 能 涉及 
多 个 部 门 , 测试 人 员 未 必 了 解 其 他 部 门 的 情况 。 拥 有 更 多 信息 的 测试 经 理 能 够 帮助 他 更 好 地 理解 
测试 伙伴 和 系统 全 貌 。 此 外 , 测试 经 理 拥有 更 多 的 测试 资源 和 交流 渠道 。 一 些 重大 问题 需要 他 和 
其 他 测试 经 理 一 起 协作 解决 。 及 时 地 报告 问题 将 帮助 测试 管理 者 了 解 产品 风险 , 并 采取 必要 的 行 
动 ， 以 扭转 危局 。 


从 测试 管理 的 角度 ,测试 人 员 需 要 与 工作 伙伴 通力 协作 , 并 密切 追踪 工作 项 的 实际 进展 。 测 
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试 工作 位 于 整个 研发 流程 的 下 游 , 且 紧密 依赖 于 上 游 活 动 的 产 出 。 在 许多 项 目 中 , 测试 进度 延 后 
是 测试 人 员 常 常 遇 到 的 情况 ,是 测试 管理 必须 考虑 的 风险 。 在 制订 个 人 测试 计划 时 , 测试 人 员 需 
要 考虑 这 些 风险 ， 并 安排 相应 的 任务 去 监控 风险 和 化 解 问题 。 


9.2.3 测试 需要 动态 管理 


在 许多 软件 项 目 中 , 测试 活动 具有 高 变动 性 ,往往 以 预料 之 外 的 方式 展开 。 以 下 是 一 些 常见 
的 原因 。 


口 在 测试 之 初 ， 测 试 人 员 很 难 预测 产品 会 具有 哪 类 缺陷 ， 他 所 拟定 的 测试 策略 可 能 大 获 成 
功 ， 也 可 能 无 法 奏效 。 随 着 测试 的 进展 ， 他 会 持续 发 现 新 信息 ， 并 学 到 许多 产品 和 业务 
知识 。 基 于 新 情况 和 新 知识 ， 他 应 该 调整 原 有 的 测试 计划 ， 放 弃 无 效 的 测试 想法 ， 补 充 
新 的 测试 想法 去 针对 真正 的 风险 。 这 是 探索 的 过 程 ， 作 为 探险 者 的 测试 人 员 掌 握 一 份 地 
图 ( 原 有 的 测试 计划 )， 但 需要 根据 地 形 随时 修正 前 进 路 线 。 

口 测试 工作 处 于 整个 研发 流程 的 下 游 ， 会 依赖 一 些 测试 人 员 不 可 控制 的 上 游 因素 。 例 如 ， 
测试 人 员 为 测试 某 个 功能 安排 了 一 周 的 时 间 ， 然 而 该 功能 的 交付 延迟 了 一 周 ， 但 是 产品 
发 布 日 期 没有 变动 。 这 意味 着 测试 人 员 损失 了 一 周 的 时 间 ， 面 临 更 紧张 的 进度 压力 。 又 
例如 ， 产 品 暴露 出 一 个 严重 的 缺陷 ， 使 得 某 些 用 户 情景 无 法 测试 。 程 序 员 迟 迟 不 能 修复 
该 缺陷 ， 这 导致 测试 无 法 推进 ， 测 试 时 间 被 无 形 地 压缩 。 面 对 这 些 情况 ,测试 人 员 必 须 
调整 测试 计划 ， 重 新 安排 测试 工作 项 和 测试 迭代 。 

口 一 些 测 试 工作 对 测试 环境 和 资源 有 较 高 的 要 求 ， 会 依赖 一 些 项 目 团队 不 可 控制 的 因素 。 
例如 ， 项 目 团 队 与 伙伴 团队 做 系统 集成 ， 程 序 员 可 以 根据 约定 好 的 接口 编写 代码 ， 而 无 
需 考 虑 伙伴 团队 的 具体 实现 ,但 是 测试 人 员 必 须 在 集成 测试 中 覆盖 两 个 系统 的 协作 情景 。 
如 有 果 伙 伴 团 队 不 能 及 时 地 提供 可 测试 的 系统 ， 集 成 测试 计划 就 被 打 乱 。 又 例如 ， 程 序 员 
在 单元 测试 中 只 需要 使 用 少量 的 业务 数据 ， 但 是 测试 人 员 在 系统 测试 中 必须 使 用 真实 的 
(或 仿真 的 ) 大 批 业 务 数 据 。 这 些 测 试 数据 很 可 能 需要 其 他 团队 提供 。 如 果 数 据 不 能 及 时 
到 位 ， 那 么 系统 测试 计划 就 需要 调整 。 

口 开发 过 程 中 会 有 一 些 突 发 事件 ， 使 得 测试 人 员 不 得 不 中 断 当 前 工作 去 紧急 处 理 。 例 如 ， 
测试 实验 室 遭 遇 停 电 事故 ， 有 一 些 计算 机 在 恢复 供电 之 后 不 能 启动 。 兼 任 实验 室 管 理 员 
的 测试 人 员 不 得 不 调查 计算 机 故障 ， 尽 力 修 复 问 题 ， 使 得 其 他 测试 人 员 可 以 使 用 计算 机 。 
又 例如 ， 在线 系统 发 现 了 一 个 安全 漏洞 ， 需 要 紧急 修复 。 程 序 员 加 班 加 点 ， 发 布 了 一 个 
补丁 ， 接 下 来 测试 人 员 实施 高 强度 的 补丁 测试 。 这 样 的 修复 与 测试 过 程 可 能 会 持续 几 天 ， 

使 得 原 计划 的 工作 项 被 延迟 。 


可 见 , 测试 过 程 发 生变 动 是 “正常 ”情况 ,是 复杂 的 技术 问题 和 紧迫 的 开发 过 程 在 测试 领域 
的 自然 结果 。 测 试 人 员 应 该 主动 地 面 对 变 化 ， 用 动态 管理 来 积极 调整 测试 计划 。 
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第 一 , 在 考虑 特定 测试 对 象 时 , 测试 人 员 应 该 为 研究 与 调查 预 留 足够 的 时 间 。 在 规划 测试 时 ， 
测试 人 员 可 能 还 没 获得 产品 构建 。 此 时 ,他 要 尽 可 能 发 散 性 思考 ,借助 测试 指南 、 功 能 列表 、 检 
查 列表 、 测 试想 法 列表 、 缺 陷 目 录 等 资料 (参见 3.2 节 )， 提 出 一 组 差异 化 的 测试 想法 ， 全 面 覆 盖 
当时 能 想到 的 测试 类 型 。 根据 已 知 的 测试 想法 , 测试 人 员 提出 工作 量 估 算 , 并 附加 一 些 缓冲 时 间 。 
在 实际 测试 时 ,测试 人 员 要 积极 评估 测试 想法 的 有 效 性 。 一 旦 发 现 茶 个 测试 想法 没有 帮助 ， 他 应 
该 立即 放弃 。 这 样 做 不 是 为 了 减少 测试 工作 量 ， 而 是 为 有 潜力 的 想法 提供 更 多 的 测试 时 间 。 随 着 
测试 的 深入 , 测试 人 员 会 产生 新 的 测试 想法 。 他 需要 通过 测试 来 检查 这 些 想法 的 有 效 性 ,并 将 时 
间 投 放 在 那些 有 效 的 想法 上 。 


第 二 ， 测 试 人 员 需 要 动态 地 调整 工作 项 和 测试 想法 的 优先 级 。“ 要 事 第 一 ”是 软件 项 目 管理 
的 基本 原则 。 如 果 项 目 团队 总 是 先 做 高 价值 的 功能 ， 当 他 们 必须 舍弃 没有 完成 的 工作 而 立即 发 布 
时 ， 被 舍弃 的 是 相对 不 重要 的 功能 。 这 使 得 产品 可 以 提供 尽 可 能 多 的 价值 。 测 试 工作 也 是 如 此 ， 
测试 人 员 应 该 先 执行 重要 的 任务 , 使 得 重要 的 缺陷 尽早 被 发 现 。 为 此 , 他 需要 周期 性 地 评估 产品 
状态 和 项 目 风险 , 调整 测试 工作 项 和 测试 想法 的 优先 级 。 如 果 他 对 一 些 任务 的 优先 级 有 疑问 ,可 
以 咨询 测试 经 理 ,请 他 提供 信息 。 如 果 他 对 某 个 测试 想法 的 有 效 性 没有 把 握 ， 可 以 安排 一 个 短 的 
时 间 盒 , 用 实际 测试 去 检查 想法 。 基 于 优先 级 安排 工作 , 测试 人 员 能 够 将 大 部 分 测试 时 间 投 放 在 
重要 的 领域 ， 仅 用 少量 时 间 去 快速 检验 不 重要 的 领域 。 


第 三 ， 测 试 人 员 可 以 借助 测试 迭代 ， 定 期 评估 项 目 情况 ， 并 调整 测试 工作 项 。 在 大 多 数 项 
HP, 以 周 为 测试 达 代 周期 能 够 获得 较 好 的 效果 ,在 里 程 碑 之 初 , 测试 人 员 实 施 “ 里 程 碑 计 划 ”， 
确定 里 程 碑 需 要 完成 的 任务 ,制定 工作 项 列表 ， 并 把 它们 安排 到 合适 的 星期 中 。 里 程 碑 计 划 
能 够 揭示 一 些 项 目 风险 。 例 如 ， 计 划 结 果 是 每 周 都 有 许多 工作 ， 这 暗示 测试 任务 没有 缓冲 的 余 
地 ， 一 且 某 个 任务 超时 ， 很 可 能 没有 时 间 完 成 余下 的 任务 。 另 一 个 典型 的 风险 是 ， 一 项 重要 
的 测试 工作 被 安排 在 最 后 一 周 。 如 果 程序 员 不 能 按时 交付 构建 ,测试 人 员 无 法 在 里 程 碑 结束 前 
完成 测试 。 对 于 这 些 风 险 ， 测试 人 员 需 要 与 测试 经 理 、 程 序 员 和 相关 人 员 协 商 ， 共 同 制定 缓解 
方案 。 


在 获得 里 程 碑 计 划 之 后 ， 测 试 人 员 以 周 为 单位 ， 和 迭代 地 实施 测试 ， 其 过 程 如 图 9-1 所 示 。 在 
周一 ,他 评估 当前 的 测试 情况 ， 更 新 本 周 的 工作 项 列表 ,加 入 新 出 现 的 任务 ， 删 除 不 再 需要 的 任 
务 ， 并 为 每 一 项 任务 制定 优先 级 。 通 过 “ 周 计划 ”， 他 获得 了 一 份 符合 项 目 实情 的 工作 计划 ， 为 
实现 “要 事 第 一 ”提供 了 基础 。 经 过 一 周 的 工作 ， 他 在 周 五 发 送 测试 报告 给 测试 经 理 和 项 目 管 
理 者 , 综述 测试 情况 ,并 报告 新 浮现 的 项 目 风 险 。 一 方面 ,测试 报告 帮助 经 理 了 解 项 目 进 展 ,为 
他 们 的 决策 提供 必要 的 信息 。 男 一 方面 , 撰写 测试 报告 的 过 程 也 是 评估 测试 进度 的 过 程 ， 能 够 帮 
助 测试 人 员 更 好 地 实施 下 周 的 计划 。 以 周 为 单元 ， 迭代 地 执行 “计划 一 实施 一 总 结 ” 能 够 帮助 测 
试 人 员 动 态 调整 测试 计划 ， 以 应 对 持续 变化 的 软件 项 目 。 
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图 9-1 以 周 计划 驱动 的 测试 迭代 


第 四 ， 测试 人 员 应 该 关注 项 目 风 险 ， 并 及 时 向 程序 员 、 产 品 经 理 和 测试 经 理 报告 。 测 试 专家 
Cem Kaner 等 指出 ， 测 试 人 员 是 项 目的 前 灯 (the headlights of the project )， 应 该 为 项 目 决策 提供 
信息 基础 区 aner01]。 恰 如 本 章 反复 强调 的 ,测试 人 员 很 可 能 没有 足够 资源 去 解决 他 所 面临 的 问题 。 
隐藏 严重 的 缺陷 、 落 后 的 进度 很 可 能 导致 项 目 延 期 、 产 品 失败 等 严重 后 果 。 及 时 地 报告 阻碍 测试 
的 问题 、 测 试 进度 的 延 后 、 产 品 所 暴露 的 缺陷 、 项 目 所 遇 到 的 风险 , 是 测试 人 员 不 可 推 御 的 职责 。 
这 些 信 息 将 “ 照 亮 ”项 目前 方 的 道路 ,让 项 目 管 理 者 看 清 实际 路 况 。 因 为 他 们 掌握 更 多 的 资源 和 
信息 ， 且 可 以 作出 重大 发 布 决策 (包括 延迟 发 布 、 删 减 功能 集 等 )， 所 以 更 可 能 扭转 项 目的 前 进 
方向 ， 以 避免 在 黑夜 中 险 入 悬崖 。 


退 一 步 说 , 报告 测试 工作 的 困难 或 延迟 是 一 种 “自我 保护 ”的 手段 。 面 对 严重 落后 的 进度 时 ， 
有 些 测试 人 员 尝 试 隐瞒 “ 坏 消息 ”， 并 期 望 加 班 工作 可 以 挽回 进度 。 这 样 的 策略 有 时 可 以 奏效 ， 
更 多 的 时 候 只 能 让 坏 消息 在 最 后 一 刻 暴露 出 来 。 那 时 产品 面临 发 布 或 里 程 碑 结束 , 项 目 团队 已 经 
没有 时 间 来 采取 补救 措施 , 测试 人 员 将 面 对 他 无 法 承担 的 巨大 责任 。 为 了 避免 这 样 的 情况 , 测试 
人 员 应 该 尽早 报告 他 所 遭遇 的 困难 , 以 获得 测试 经 理 和 团队 成 员 的 帮助 。 这 保护 了 他 的 职业 发 展 ， 
也 帮助 了 项 目 团队 。 


第 五 ， 测 试 人 员 需 要 经 常 自问 :“ 我 现在 可 以 测试 什么 ? 能 够 如 何 测试 ?”[Kaner01]。 这 是 
两 个 看 似 平常 , 但 是 具有 提示 意义 的 局 发 式 问题 。 在 忙碌 的 项 目 中 , 测试 人 员 可 能 无 暇 思考 ,只 
是 遵循 已 有 的 测试 计划 。 这样 的 忙碌 状态 会 让 他 错过 一 些 有 价值 的 测试 情报 , 漏 掉 一 些 改进 测试 
策略 的 机 会 。 在 每 个 里 程 碑 和 每 个 迭代 周期 都 用 两 个 问题 去 检视 软件 项 目 和 测试 策略 ,可 以 帮 
助 测试 人 员 实 施 动态 管理 ， 让 测试 策略 随 着 项 目 一 起 发 展 。 

在 某 种 程度 上 ,本 节 的 内 容 是 用 动态 管理 来 应 对 项 目 级 别 的 风险 ( 参见 8.3.3 节 )。 也 就 是 说 ， 
测试 人 员 需 要 将 项 目 风险 作为 驱动 测试 计划 发 展 的 重要 因素 , 持续 地 监控 风险 , 并 制定 相应 的 行 
动 方案 。 毕 竞 好 的 测试 策略 是 产品 相关 、 关 注 风 险 、 多 种 多 样 、 讲 求实 用 的 [Kaner01]。 


9.3 软件 估算 


实施 有 效 计 划 的 一 个 重要 前 提 是 准确 地 佑 算 工 作 项 所 需 的 时 间或 成 本 。 程序 员 需 要 估算 编写 
和 单元 测试 一 个 功能 需要 多 长 时 间 , 测试 人 员 需 要 估算 完成 该 功能 的 所 有 测试 需要 多 长 时 间 , 这 
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些 估算 值 构成 了 项 目 整体 计划 的 基础 。 软件 行业 的 普遍 情况 是 , 项 目 团队 会 低估 ( 甚至 故意 低估 ) 
完成 工作 所 需要 的 时 间 。 在 许多 项 目 中 , 过 低 的 估算 和 不 良 的 管理 导致 进度 紧张 、 发 布 延期 代价 
Hmo 

软件 开发 专家 Steve MecConnell 的 名 著 《 软 件 估算 一 一 “黑匣子 ”揭秘 》( Software Estimation: 


Demystifying the Black Art ) 详细 讨论 了 软件 估算 的 核心 概念 和 一 些 佑 算 方 法 ， 具 有 很 高 的 参考 价 
值 [McConnell06]。 本 节 将 介绍 该 书 的 一 些 关 键 观点 。 


9.3.1 测试 人 员 应 该 估算 自己 的 任务 


在 软件 开发 中 ,以 下 几 个 拥有 不 同 含义 的 词汇 常常 被 无 意识 地 混用 ,导致 了 误解 和 牙 义 。 
此 ， 有 效 估算 的 第 一 步 是 正确 理解 基本 概念 。 


O 估算 是 对 任务 所 需 的 时 间或 成 本 的 预测 。 佑 算 应 该 是 客观 的 分 析 过 程 ， 旨 在 获得 准确 的 
预测 值 ， 而 不 考虑 最 终结 果 是 否 超出 了 可 用 的 时 间 和 资源 。 

O 目标 是 期 望 完成 的 任务 。 在 软件 项 目 中 ， 常 见 的 目标 包括 编码 完成 、 测 试 完成 、 发 布 等 。 
O 计划 是 实现 目标 的 方案 。 与 估算 不 同 ， 计 划 是 主观 的 目标 求解 过 程 ， 旨 在 充分 利用 项 目 
时 间 和 资源 ， 以 最 大 的 概率 去 达成 目标 。 

口 承诺 是 许诺 在 特定 日 期 之 前 完成 目标 。 在 软件 项 目 中 ， 承 诺 意 味 着 “使 命 必 达 ”的 责任 ， 
以 及 不 能 兑现 诺言 的 问 责 。 


在 许多 时 候 , 项 目 关 系 人 并 不 掌握 以 上 概念 的 差别 ,所 以 他 们 常常 将 估算 等 同 于 计划 或 承 详 。 
例如 , 项 目 主管 问 测试 人 员 :“ 你 评估 完成 集成 测试 需要 多 长 时 间 ? 产品 还 有 一 个 月 就 要 上 线 了 ， 
时 间 够 用 吗 ? ”在 字面 上 , 项 目 主管 在 询问 集成 测试 的 估算 ,其 实 他 是 在 ( 用 委婉 的 口气 ) 要 求 
测试 人 员 和 承诺 在 一 个 月 时 间 内 完成 测试 。 又 例如 ， 测 试 经 理 问 测试 人 员 :“ 你 认为 完成 集成 测试 
需要 多 长 时 间 ? 产品 还 有 一 个 月 就 要 上 线 了 ,时 间 够 用 吗 ? ”对 于 大 多 数 技术 领导 而 言 ,该 问题 
是 要 求 测试 人 员 给 出 一 个 切实 可 行 的 计划 ， 以 按时 完成 集成 测试 。 如 果 测 试 人 员 随 口 答 道 “一 
个 月 时 间 足 够 了 ”， 那 么 测试 经 理会 认为 他 已 经 拥有 了 一 个 很 好 的 计划 ,并且 承诺 在 一 个 月 之 内 
完成 任务 。 


为 了 避免 误解 ,测试 人 员 需 要 理解 关系 人 的 真实 意图 ， 并 就 所 讨论 的 内 容 达 成 共识 。 以 下 是 
几 个 需要 交流 的 要 点 。 


O 估算 、 计 划 和 承诺 的 核心 是 目标 。 只 有 清楚 地 定义 目标 ， 才 能 进行 有 意义 的 估算 、 计 划 
和 承诺 。 因 此 ,测试 人 员 需 要 向 关系 人 确认 任务 的 内 容 ， 以 及 关系 人 对 完成 质量 的 期 望 。 
如 果 任 务 是 集成 测试 ， 那 么 测试 人 员 需 要 询问 测试 的 范围 和 测试 完成 的 标准 。 

口 测试 人 员 需 要 向 关系 人 询问 ， 他 究竟 需要 什么 信息 ， 以 及 为 什么 需要 这 些 信息 。 如 果 关 
RARP, 他 有 可 能 在 进行 项 目 级 别 的 估算 ,希望 测试 人 员 提 供 局 部 的 详细 信息 。 
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如 果 关系 人 需要 计划 ， 他 有 可 能 期 望 了 解 测试 活动 的 关键 时 间 点 ， 以 协调 多 项 测试 活动 。 
如 果 关 系 人 期 待 承诺 ， 他 有 可 能 期 望 测试 人 员 确 认 测 试 任务 可 以 按时 完成 。 了 解 关系 人 
的 动机 可 以 帮助 测试 人 员 提 供 正确 的 答案 。 

口 测试 人 员 应 该 与 关系 人 协商 ， 确 定 一 个 提交 正式 答案 的 时 间 。 除 非 测试 人 员 对 目标 进行 
过 认真 的 估算 和 计划 ， 和 否则 他 不 应 该 当场 给 出 估算 、 计 划 或 承诺 。 在 交谈 的 时 候 ， 测 试 
人 员 仅 能 凭借 经 验 进 行 估算 ， 很 难得 出 准确 的 估算 值 或 稳健 的 方案 ， 而 根据 不 良 估算 所 
做 的 承诺 很 可 能 无 法 兑现 。 他 应 该 向 关系 人 说 明 ， 他 需要 认真 分 析 之 后 ， 才 能 给 出 确切 
的 答案 。 然 后 ， 他 和 关系 人 约定 一 个 时 间 ， 届 时 他 会 提供 正式 的 答案 。 


星 然 目标 、 佑 算 、 计 划 和 承诺 拥有 不 同 的 语义 ,但 是 在 个 人 测试 管理 中 , 它们 通常 是 紧密 关 
联 的 。 测 试 人 员 获 得 一 个 测试 任务 之 后 ,应 该 调查 它 的 目标 和 完成 标准 。 之 后 ,将 其 分 解 为 一 组 
测试 工作 项 ,并 估算 每 个 工作 项 所 需 的 时 间 ， 以 获得 该 任务 的 时 间 估 算 。 如 果 该 任务 所 需 的 时 间 
超过 预算 , 测试 人 员 会 调整 工作 项 ， 以 减少 任务 所 需 时 间 。 如 果 测 试 人 员 发现 满 足 完成 标准 所 需 
要 的 最 短 时 间 仍 旧 超 出 预算 , 他 需要 向 测试 经 理 说 明 该 任务 无 法 在 期 望 时 间 内 完成 。 可 见 , 估算 
是 测试 计划 的 重要 环节 ， 是 评估 测试 计划 是 否 合理 的 重要 指标 ， 也 是 测试 人 员 是 否 做 出 承诺 的 
基础 。 


测试 人 员 应 该 负责 自己 任务 的 估算 , 而 不 是 无 条 件 地 接受 他 人 的 估算 。 根据 别人 的 估算 做 出 
承诺 ， 很 可 能 让 自己 处 于 不 利 的 情景 。 例 如 ， 测 试 经 理 让 测试 人 员 在 5 天 内 完成 一 项 测试 任务 。 
某 些 测试 人 员 会 不 假 思 索 地 答应 下 来 。 不 幸 的 是 , 在 实际 测试 过 程 中 , 他 发 现 该 测试 任务 很 复杂 ， 
需要 更 多 的 时 间 。 为 了 不 违背 自己 的 承诺 ， 他 硬 着 头皮 做 下 去 ,尝试 着 用 加 班 来 完成 任务 。 然 而 
埋头 工作 并 没有 加 快 进度 ,在 第 5 天 ,他 不 得 不 面 对 任 务 无 法 完成 的 局 面 。 这 时 ,他 有 两 个 选择 : 
好 的 选择 是 报告 测试 经 理 , 测试 任务 没有 完成 , 他 需要 更 多 的 时 间 ; 差 的 选择 是 隐瞒 测试 任务 的 
真实 进度 ， 报 告 测 试 任务 完成 。 无 论 如何 ， 他 都 没有 竞 现 “5 天 内 按照 标准 完成 任务 ”的 承诺 ， 
为 项 目 引 入 了 风险 。 倘 若 风 险 暴 露 为 事故 ， 那 么 他 不 得 不 面 对 问 责 。 


在 上 例 的 情景 中 ， 有 经 验 的 测试 人 员 会 采取 不 同 的 做 法 。 在 接 到 任务 后 ,他 会 估算 完成 它 需 
要 的 时 间 。 如 果 发 现 该 任务 需要 8 天 才能 完成 ， 他 会 立即 与 测试 经 理 讨论 该 估算 值 。 讨 论 的 主要 
目的 不 是 说 服 测试 经 理 接受 自己 的 估算 值 , 而 是 理解 为 什么 两 个 估算 值 存在 差异 。 是 两 人 对 任务 
内 容 的 理解 存在 差异 吗 ? 是 测试 经 理 拥 有 一 些 高 效 的 测试 方法 吗 ? 是 测试 经 理 知晓 其 他 测试 人 
员 会 覆盖 部 分 测试 内 容 吗 ”是 存在 某 些 强制 条 件 ， 使 得 该 任务 必须 在 5 天 内 完成 吗 ? 在 理 清 这 些 
问题 后 , 测试 人 员 和 测试 经 理 通常 可 以 对 任务 的 内 容 和 完成 方式 达成 一 致意 见 , 并 获得 一 个 双方 
都 认可 的 估算 值 。 一 些 可 能 的 讨论 结果 包括 : 测试 经 理 缩减 了 测试 任务 的 范围 , 使 得 测试 任务 可 
以 在 5 天 内 完成 ; 测试 经 理 同意 8 天 是 合理 的 估算 值 ; 测试 经 理 为 该 任务 投入 更 多 的 人 手 , 使 得 佑 
算 值 降 到 5 天 。 


总 之 ,估算 是 测试 管理 和 项 目 协作 的 重要 活动 , 是 计划 和 承诺 的 基础 。 负 责任 的 测试 人 员 会 
谨慎 地 评估 工作 项 的 时 间 , 并 用 估算 值 来 分 析 工作 计划 的 可 行 性 。 如 果 他 人 对 估算 值 存在 不 同意 
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见 ， 他 会 将 分 卜 视 为 交流 的 机 会 ， 通 过 交换 意见 来 达成 共识 。 


9.3.2 ”用 计数 和 计算 作为 估算 手段 
Steve McConnell 用 一 个 非常 精彩 的 故事 解释 了 估算 的 基本 手段 。 本 节 将 其 引用 如 下 。 


以 


你 和 几 个 估算 人 员 参 与 一 个 大 型 的 招待 会 ,大 房间 中 坐 满 了 了 人。 突然 ,司仪 用 麦克 
风 发 问 :“ 谁 可 以 准确 地 估算 出 这 个 房间 中 有 多 少 与 会 者 ? ” 

估算 人 员 B 记 说 :“ 我 经 常 估算 人 数 ， 赁 我 的 经 验 ， 房 间 里 大 约 有 335 人 。 

估算 人 员 Karl 说 :“ 房 间 里 的 桌子 排 成 了 适 阵 ， 共 有 11 行 7 列 。 会 议 组 织 者 告诉 我 一 
张 桌 子 坐 $ 个 人 人， 目测 也 是 如 此 。 所 以 ，11 乘 7 再 乘 $， 一 共有 385$ 人 。” 

估算 人 员 Lucy 说 :“ 我 注意 到 该 房间 有 容量 标记 ， 它 最 多 可 以 容纳 485 人 。 看 上 去 ， 
目前 已 经 坐 满 了 70%~80%， 也 就 是 说 有 340~388 人 。 取 平均 数 就 是 365 人 。” 

你 说 :“ 我 去 调查 一 下 ， 片 刻 就 回 。” 几 分 钟 后 ， 你 公布 了 调查 结果 :“ 进 入 房间 之 
前 要 扫描 门票 。 我 去 问 了 门口 的 验 票 员 ， 她 说 根据 扫描 器 ， 一 共 扫 描 了 407 张 票 ， 而 且 
目前 没有 人 离开 。 所 以 ， 与 会 者 应 该 为 407 人 。” 

司仪 公布 的 答案 恰恰 是 407 人 。 


这 个 例子 生动 地 展示 了 几 种 常用 的 估算 方法 ， 并 说 明了 它们 的 优先 顺序 。 


O 计数 是 最 优先 的 估算 方法 。 只 要 可 以 用 清点 的 方式 来 获得 答案 ， 就 应 该 采用 这 种 直 截 了 

当 的 方法 。 它 通常 能 给 出 最 准确 的 答案 。 

O 计算 是 次 优 的 佑 算 方 法 。 如 果 无 法 用 计数 获得 答案 ， 就 应 该 先 对 某 些 对 象 进行 计数 ， 然 
后 根据 特定 的 算法 来 计算 估算 值 。Karl 先 清点 了 桌子 的 数目 ， 然 后 根据 每 桌 5 人 的 信息 算 
出 了 估算 值 。Lucy 先 了 解 了 房间 的 容量 ， 然 后 根据 感觉 (房间 坐 满 了 70%~80% ) 算出 了 
估算 值 。 

O 判断 是 最 后 的 手段 。 B 记 纯粹 根据 感觉 提供 了 度量 值 , 很 大 程度 上 是 在 碰 运 气 。 不 地 的 是 ， 

这 次 他 的 运气 并 不 好 ， 其 度量 值 最 不 准确 。 


测试 人 员 不 应 该 将 估算 、 计 划 和 承诺 建立 在 运气 之 上 ,所 以 他 应 该 尽 可 能 使 用 计数 , 然后 才 
考虑 计算 ,迫不得已 才 选 择 判 断 。 可 惜 ， 在 许多 软件 项 目 中 ， 大 部 分 估算 都 来 自 “ 拍 脑袋 ”的 判 
断 。 在 此 环境 中 ， 如 果 测 试 人 员 不 立即 给 出 估算 值 ， 而 是 说 “请 让 我 数 一 数 ( 或 算 一 算 》， 他 会 
被 认为 不 够 “勇敢 果断 "。 对 此 ， 测 试 人 员 应 该 顶 住 仓促 决定 的 压力 ， 坚 持 用 更 准确 的 方法 来 提 
供 估算 结果 。 毕 竟 ， 最 后 是 测试 人 员 来 承担 估算 有 误 的 责任 。 


对 于 许多 测试 任务 , 测试 人 员 很 难 直接 使 用 计数 的 方法 。 对 此 ,他 可 以 将 测试 任务 分 解 为 多 
个 工作 项 ,然后 对 每 个 工作 项 进行 计数 。 最 后 ,他 将 工作 项 的 估算 值 累加 起 来 ， 以 获得 测试 任务 
的 估算 值 。 这 是 一 种 “分 而 治之 ”的 策略 , 将 一 个 大 型 任务 的 估算 转化 为 对 一 组 小 型 任务 的 估算 ， 
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9.3 软件 估算 


工作 项 的 估算 值 


通过 提高 局 部 的 准确 性 来 保证 最 终结 果 的 准确 性 。 此 外 ,累加 一 组 估算 值 有 助 于 误差 补偿 。 当 某 些 


扁 高 , 男 一 些 工作 项 的 估算 值 偏 低 , 其 累加 值 “抵消 ”了 正 负 误差 , 可 能 更 加 准确 。 


9.3.3 ”历史 数据 是 估算 的 重要 参考 


为 了 较 准 确 地 估算 , 测试 人 员 需 要 寻找 与 任务 工作 量 相关 的 计数 对 象 。 如 果 存 在 与 计数 对 象 
相关 的 历史 数据 ， 测 试 人 员 就 可 以 方便 地 将 计数 值 转化 为 估算 值 。 表 9-2 记 录 了 一 些 常 见 的 估算 
对 象 和 它们 的 历史 数据 。 


根据 历史 数据 , 测试 人 员 可 以 较 方 便 地 估算 出 一 项 任务 所 需 的 时 间 。 以 自动 化 测试 结果 调查 
为 例 ， 假 设 自动 化 测试 集合 包含 2000 个 用 例 ， 测 试 失 败 率 大 约 是 2%， 调 查 一 个 失败 的 测试 用 例 
平均 是 15 分 钟 ， 那 么 一 轮 自动 化 测试 调查 需要 2000 x 0.02 x 15 = 600 分 钟 (10 小 时 )。 如 果 测 试 小 


组 安排 4 个 人 共同 调查 ,平均 每 个 人 需要 花费 2.5 小 时 。 


表 9-2 ”将 计数 值 转化 为 估算 值 的 历史 数据 


估算 对 象 把 计数 值 转化 为 估算 值 的 历史 数据 
功能 测试 。 一 个 功能 或 特性 的 平均 测试 时 间 。 


。 每 千 行 代码 的 平均 缺陷 数 。 
。 缺 陷 被 解决 为 修复 的 概率 。 
。 对 一 个 缺陷 修复 进行 测试 的 平均 用 时 。 
。 一 个 缺陷 修复 引入 新 缺陷 的 概率 


性 能 测试 


。 一 轮 性 能 测试 需要 考察 的 情景 的 数目 。 
。 录制 和 调试 一 个 情景 的 平均 用 时 。 
。 回放 一 个 情景 以 收集 性 能 数据 的 平均 用 时 。 
。 汇 总 数据 、 编 写 性 能 测试 报告 的 平均 用 时 


数据 库 测试 。 测试 一 个 存储 过 程 的 平均 用 时 。 

。 测试 一 个 函数 的 平均 用 时 。 

。 测试 一 个 视图 的 平均 用 时 。 

。 测试 一 个 表 的 平均 用 时 
网 页 测试 。 测试 一 个 报表 页 面 ( 以 数据 呈现 为 主要 情景 ) 的 平均 用 时 。 

。 测试 一 个 表单 页 面 ( 以 数据 提交 为 主要 情景 ) 的 平均 用 时 。 

。 测试 一 个 只 读 页 面 ( 只 包含 静态 文字 、 图 片 、 超 链接 ) 的 平均 用 时 
可 归 测试 。 一 轮回 归 测 试 的 平均 用 时 。 


。 一 轮回 归 测 试 所 提交 的 平均 缺陷 个 数 。 
。 缺陷 被 解决 为 修复 的 概率 。 
。 对 一 个 缺陷 修复 进行 测试 的 平均 用 时 。 
。 一 个 缺陷 修复 引入 新 缺陷 的 概率 
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Q 9% 团队 工作 


估算 对 象 把 计数 值 转化 为 估算 值 的 历史 数据 
运行 自动 化 测试 。 测试 实验 室 运 行 自动 化 测试 集合 的 平均 用 时 。 
。 自动 化 测试 集合 包含 多 少 个 测试 用 例 。 
。 测试 用 例 失 败 的 概率 。 
。 调查 一 个 失败 的 测试 用 例 的 平均 用 时 
编写 自动 化 测试 e 对 于 一 个 被 测 函 数 ， 平 均 编 写 的 测试 用 例 个 数 。 
。 编写 一 个 测试 用 例 的 平均 用 时 。 
。 调试 一 个 测试 用 例 的 平均 用 时 。 
。 对 测试 代码 进行 代码 审查 的 平均 用 时 
测试 环境 搭建 e 配置 一 台 测 试 计算 机 的 平均 用 时 。 
。 安装 被 测 产 品 的 平均 用 时 。 
。 配置 被 测 产 品 的 平均 用 时 


一 般 而 言 , 测试 人 员 应 该 尽量 自动 地 获得 历史 数据 。 许 多 团队 用 数据 库存 储 缺 陷 报告 、 自 动 
化 测试 的 信息 (包含 用 例 编号 、 用 例 名 、 用 例 所 属 的 测试 集合 等 )、 自 动 化 测试 的 结果 ， 这 为 数 
据 分 析 提 供 了 便利 。 测 试 人 员 编写 简单 的 SQL 查询 ， 就 可 以 很 方便 地 获得 历史 数据 。2.3.5 节 建议 
测试 人 员 在 编写 缺陷 报告 时 , 要 支持 未 来 的 缺陷 查询 。 这 条 建议 在 本 节 体 现 为 , 缺陷 报告 应 该 支 
持 未 来 的 数据 分 析 。 以 回归 测试 为 例 ， 测 试 小 组 可 以 约定 回归 测试 的 缺陷 报告 的 标题 应 该 以 
“IRF]”( Regression Failure 的 缩写 ) 为 前 级 。 这 样 ,代码 清单 9-1 所 示 的 SQL 查 询 ( 有 关 数 据 表 dbo.Bug 
的 定义 请 参考 8.2.1 节 ) 能 够 返回 一 轮回 归 测 试 所 发 现 的 缺陷 个 数 。 这 段 代码 假设 一 轮回 归 测 试 只 
针对 一 个 固定 的 构建 号 ， 它 筛选 出 Title ( 标题 ) 包含 “[RF]” 的 缺陷 ， 并 用 0penBuild ( 提交 缺陷 
的 构建 号 ) 对 它们 分 组 ， 从 而 获得 每 个 构建 号 所 拥有 的 回归 缺陷 的 数目 。 利 用 该 信息 ,测试 人 员 
很 容易 计算 出 一 轮回 归 测 试 所 提交 的 平均 缺陷 个 数 。 


代码 清单 9-1 统计 每 一 轮回 归 测 试 发 现 的 缺陷 
SELECT 
OpenBuild, COUNT(*) AS OpenCount 
FROM dbo.Bug 
WHERE OpenDate > DATEADD(dd, -30, GETDATE()) 
AND CHARINDEX('[RF]', Title) = 1 
GROUP BY OpenBuild 
为 部 分 项 目 数据 并 没有 被 自动 地 记录 , 所 以 测试 人 员 有 时 要 做 一 些 数据 采集 。 他 可 以 参考 
3.2.13 节 介绍 的 基于 测 程 的 测试 管理 (SBTM )， 用 测 程 来 组 织 具体 的 测试 活动 。 标 准 的 SBTM 建 
议 测试 人 员 记 录 测 试 活动 的 时 间 分 配 ， 即 在 产品 安装 、 测 试 设计 与 执行 、 缺 陷 调 查 和 报告 、 非 测 
试 活动 中 各 花费 了 多 长 时 间 。 积 累 这 些 数据 将 为 今后 的 估算 提供 有 力 的 支持 。 
此 外 ,好 的 测 程 拥 有 明确 的 主题 , 这 意味 着 它 通 常 针 对 一 组 具体 的 测试 对 象 。 在 一 个 测 程 结 
束 后 , 测试 人 员 只 需 进行 简单 的 回顾 , 数 一 数 测试 所 覆盖 的 对 象 ， 就 可 以 获得 有 价值 的 数据 。 例 
如 ， 他 分 配 了 一 个 1.5 小 时 的 测 程 ， 专 门 用 于 自动 化 测试 的 失败 调查 。 在 测 程 结 束 后 ， 他 统计 一 
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共 调 查 了 多 少 个 失败 用 例 ， 然 后 计算 出 失败 用 例 调 查 的 平均 用 时 。 又 例如 ， 他 分 配 了 一 个 2 小 时 
的 测 程 来 测试 web 页面。 在 测 程 结束 后 ， 他 统计 一 共 测 试 了 多 少 个 报表 页 面 、 表 单 页 面 和 只 读 页 
面 ， 从 而 计算 出 测试 每 种 页 面 的 平均 时 间 。 


Steven McConnell 建 议 开 发 人 员 从 四 类 数据 开始 收集 : 规模 ( 代码 行 或 软件 中 可 计数 的 对 象 )、 
TEE (工作 时 间 )、 时 间 (日 历时 间 )、 缺 陷 。 该 建议 也 适用 于 测试 人 员 ， 他 可 以 从 很 少 一 组 数 
据 开 始 积累 ,用 少量 的 时 间 去 聚焦 基础 性 的 信息 。 在 此 基础 上 ,他 应 该 利用 测试 迭代 来 周期 性 地 
收集 最 新 的 数据 。 这 不 但 能 让 他 更 好 地 估算 ， 还 能 让 他 掌握 项 目的 发 展 动向 。 


93.4 同时 估算 最 差 情 况 和 最 好 情况 


在 估算 时 , 一 个 很 有 帮助 的 技巧 是 同时 分 析 最 差 情 况 和 最 好 情况 的 估算 值 。 如 果 只 给 出 一 个 
估算 值 ( 称 为 “ 单 点 估算 ”)， 测试 人 员 常 常 倾向 于 给 出 一 个 乐观 值 。 为 了 避免 过 于 乐观 的 估算 ， 
测试 人 员 应 该 强迫 自己 思考 最 坏 情况 , 评估 出 完成 任务 的 最 长 时 间 。 这 样 做 主要 有 以 下 3 个 好 处 。 


口 当 思 考 最 坏 情 况 时 ， 测 试 人 员 会 更 发 散 地 思考 。 他 会 挖掘 出 一 些 被 乐观 思考 忽略 的 因素 ， 
想 出 一 些 不 常见 、 但 可 能 发 生 的 不 利 情况 。 在 某 种 程度 上 ， 翡 观 思 考 帮助 测试 人 员 更 好 
地 理解 任务 和 语 境 ， 甚 至 让 他 更 准确 地 评估 最 好 情况 。 

口 估算 只 是 一 种 预测 ， 其 结果 不 可 能 做 到 百 分 百 准确 。 此 外 ， 工 作 能 否 按 期 完成 ， 不 仅仅 
取决 于 恰当 的 估算 ,还 依赖 于 有 力 的 执行 、 无 干扰 的 工作 和 关系 人 的 支持 ， 其 中 一 些 因 
素 非 测 试 人 员 可 以 控制 。 单 点 估算 不 能 自然 地 反映 出 项 目 发 展 的 不 确定 性 , 给 人 一 种 “到 
那 时 一 定 可 以 完成 ”的 幻觉 。 如 果 估 算 结 果 是 一 个 时 间 区 间 ， 那 它 能 直观 地 表达 出 软件 
项 目 无 法 忽视 的 高 度 变 动 性 。 

口 即便 测试 人 员 需 要 提供 单 点 估算 ， 他 也 可 以 先 估算 最 好 情况 和 最 差 情况 。 这 让 他 更 全 面 
地 分 析 项 目 环境 ， 从 而 在 这 两 点 之 间 选 择 一 个 合理 的 值 。 在 统计 上 ， 任 务 以 最 好 情况 或 
最 差 情 况 完 成 的 概率 是 很 低 的 ， 最 终 的 估算 值 应 该 拥有 更 高 的 完成 概率 。 更 详细 的 讨论 
请 参考 Steve McConnell 和 Tom DeMarco 等 专家 的 著作 [McConnell06][DeMarco03]。 


男 一 个 提高 估算 能 力 的 方法 是 经 常 比较 任务 的 估算 时 间 和 实际 完成 时 间 。 基本 策略 是 建立 基 
于 实际 值 的 反馈 机 制 ， 以 逐渐 提高 估算 的 准确 度 。 为 此 ， 测 试 人 员 可 以 在 每 个 测试 周期 结束 时 ， 
研究 那些 佑 算 值 与 实际 值 相差 较 大 的 案例 ,调查 其 中 的 原因 ,从 而 提出 相应 的 估算 改进 方案 。 利 
用 快速 的 反馈 ， 他 可 以 更 快 地 提高 其 估算 能 


94 度量 
在 日 常 工作 中 ,测试 人 员 会 主动 用 一 些 定量 的 方法 来 分 析 软 件 和 项 目 〈 例 如 7.1.1 节 、8.2.1 


节 、8.2.2 节 、8.2.4 节 讨论 了 一 些 度量 方法 ) 以 获得 测试 想法 ， 也 会 被 要 求 提供 一 些 数值 以 反应 项 
目 进展 。 为 了 更 好 地 完成 这 些 任务 ， 本 节 讨 论 一 些 软件 度量 的 基本 原则 和 方法 。 


" 305，: 


QR OF 


团队 工作 
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口 


口 
口 
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理解 度量 方法 的 基本 元 素 


有 效 运用 一 种 度量 方法 的 前 提 是 透彻 地 理解 它 。Cem Kaner 教 授 提出 了 一 个 评估 度量 方法 的 
框架 [Kaner00]， 其 核心 元 素 如 下 。 


意图 : 为 什么 项 目 团队 或 测试 人 员 需 要 使 用 这 种 度量 方法 ?其 度量 结果 有 何 用 途 ? 


、 优 点 和 缺点 。 


影响 。 许 多 时 候 ， 


属性 : 度量 方法 总 是 针对 项 目 元 素 的 某 个 特性 ， 反 应 被 调查 对 象 在 这 个 方面 的 表现 。 
算法 : 定量 评估 属性 的 方法 。 
属性 与 算法 的 联系 :一 组 理论 或 假设 ， 以 说 明 使 用 该 算法 来 评估 属性 是 合理 的 。 联 系 通 
常 决定 了 算法 的 适用 范围 
O 可 能 的 副作用 : 误 用 度量 方法 带 来 的 不 利 


团队 成 员 会 不 自觉 地 “优化 ” 


度量 结果 ， 使 其 满足 管理 层 的 要 求 。 这 样 做 可 能 会 导致 一 些 负面 结 

在 实施 特定 的 度量 方法 时 ， 测 试 人 员 需 要 仔细 考虑 它 的 意图 、 
在 8.2.2 节 , 代码 清单 8-7 展 示 了 一 种 评估 C# 代 码 复杂 性 的 度量 方法 ， 
件 中 分 支 与 循环 关键 字 的 个 数 二 《文件 的 行 数 + 1)。 表 9-3 总 结 了 该 方法 的 基本 元 素 。 


表 9-3 ”文件 复杂 度 的 基本 元 素 


属性 、 算 法 、 联 系 和 副作用 。 
其 定义 是 : 文件 的 复杂 度 = 文 


意图 测试 人 员 尝 试 发 现 复 杂 度 最 高 的 一 批 代码 文件 ， 将 它们 作为 候选 阅读 对 象 。 其 背后 的 动机 如 下 。 
。 程 序 员 在 编写 或 修改 复杂 代码 时 ， 更 容易 出 错 。 因 此 ， 复 杂 代 码 包 含 更 多 的 缺陷 。 
。 复 杂 代码 不 容易 测试 ， 需 要 重点 研究 。 
。 了 解 复 杂 代 码 所 涉及 的 功能 ， 能 够 更 好 地 理解 产品 并 评 佑 风险 

属性 度量 方法 旨 在 定性 地 评估 产品 代码 (调查 对 象 ) 的 复杂 性 ( 属性 ) 

算法 文件 的 复杂 度 = 文件 中 分 支 与 循环 关键 字 的 个 数 * (文件 的 行 数 +1) 

联系 该 算法 的 本 质 是 统计 分 支 与 循环 关键 字 在 一 行 代码 中 出 现 的 概率 。 其 背后 的 假设 如 下 。 
分支 和 循环 可 能 带 来 复杂 的 执行 路 径 ， 复 杂 的 执行 路 径 会 导致 理解 困难 。 
。 分 文 和 循环 越 密集 〈 出 现 概率 越 高 ) ， 代 码 就 越 复杂 

副作用 作为 代码 阅读 的 辅助 工具 ， 该 度量 方法 并 不 造成 严重 的 项 目 风 险 ， 毕 竟 决 定 代码 阅读 质量 的 是 测试 
人 员 的 技术 能 力 和 投入 时 间 。 不 过 ,测试 人 员 仍 旧 需 要 知晓 该 方法 的 不 足 : 代码 复杂 性 是 由 多 个 因 
素 决定 的 ， 该 算法 仅 考虑 了 复杂 性 的 一 个 方面 ， 并 不 能 全 面 地 评估 复杂 性 。 
。 在 分 支 与 循环 关键 字 个 数 相同 的 情况 下 ， 深 度 伟 套 的 分 支 与 循环 通常 更 加 复杂 。 但 是 ， 该 算法 不 分 
析 艇 套 深 度 ， 不 能 为 深度 藤 套 的 代码 提供 更 高 的 复杂 度 。 


。 在 C# 语 言 中 ,一 些 LINQ 操 作 符 提供 了 类 似 分 支 的 筛选 能 力 和 类 似 循 环 的 迭代 能 力 。 但 是 ， 


没有 统计 LINQ 操 作 符 ， 不 能 完整 地 提供 此 类 代码 的 复杂 度 。 
。 在 C#i 语 言 中 ， 有 多 种 根据 程序 状态 选择 执行 路 径 的 方法 ,例如 虚 函 数 、 反 射 、 动 态 代码 (通常 


dynamic 关 键 字 引入 ) 等 。 
。 一 般 认为 异常 处 理 代 码 比 较 复杂 ， 较 容易 出 错 。 但 是 ， 


日 是 ， 该 算法 没有 考虑 这 些 情况 。 
该 算法 没有 考虑 异常 处 理 


该 算法 


9.4.2 ”明确 度量 的 目标 


度量 的 目的 是 为 项 目 决策 提供 信息 ,是 为 了 更 合理 的 行动 。 因 此 , 测试 人 员 需 要 了 解 度量 的 
用 途 ， 知道 它 所 服务 的 目标 。 然而， 在 项 目 压力 下 , 测试 人 员 有 时 会 忘记 度量 背后 的 目标 ， 只 是 
机 械 性 地 提供 度量 值 , 或 让 自己 的 工作 符合 预 设 的 度量 值 。 这 样 做 无 助 于 提高 产品 质量 ， 且 丧失 
了 一 些 改进 开发 过 程 的 机 会 。 下 面 是 一 个 真实 的 案例 。 


以 


在 某 个 项 目 中 , 代码 履 盖 率 是 一 条 产品 发 布 标准 ， 它 要 求 测试 的 语句 块 覆 盖 率 达到 
70%。 在 发 布 前 夕 ， 测 试 人 员 Kyle 正 在 为 测试 覆盖 率 “ 达 标 ” 而 努力 奋斗 。 那 是 一 个 比 
较 大 的 C++ 程序 ， 其 中 有 一 些 代码 ， 利 用 端 到 端的 系统 测试 很 难 履 盖 。 于 是 ，Kyle 创 造 
性 地 使 用 调试 工具 Windbg 来 提高 覆盖 率 。 他 将 Windbg 附 加 到 被 测 程序 上 ， 然 后 利用 调 
试 器 指令 ， 手 工 改 变 程 序 的 执行 路 径 ， 以 快速 覆盖 任何 他 希望 履 盖 的 代码 。 不 幸 的 是 ， 
有 一 块 代码 在 入 口 处 就 前 溃 了 。 虽 然 该 异常 被 Windbg 捕 获 ， 但 是 程序 无 法 继续 执行 
在 试 了 几 次 之 后 ， 他 把 程序 员 叫 了 过 来 ， 问 道 : ARER E mT, sole Sei 38 3 
执行 ? ”程序 员 大 骇 :“ 你 难道 不 研究 一 下 它 为 什么 崩溃 么 ? ”Kyle 怒 斥 之 :“ 别 说 这 些 
没 用 h 干 正事 要 紧 !” 

这 个 故事 是 当 事 程 序 员 亲口 说 给 我 听 的 。 写 在 这 里 不 是 指责 Kyle 对 程序 崩溃 不 闻 不 
司 。 恰恰 相反 ,我 认为 Kyle 的 举措 具有 相当 的 合理 性 。 第 一 , 利用 Windbg 修 改 执行 路 径 ， 
已 经 扰乱 了 程序 状态 。 即 便 程序 崩 演 ， 也 很 难 认定 这 是 一 个 缺陷 。 第 二 ， 崩 涡 发 生 在 一 
笑 很 难 被 执行 到 的 代码 中 。 即便 是 程序 缺陷 ,也 不 会 引入 显著 的 风险 。 FA, RAM 
结束 ,还 有 许多 高 优先 级 的 测试 工作 。 结 束 手 上 的 工作 ,将 精力 集中 在 那些 暴露 真实 问 
题 的 “正事 ”上 ， 才 是 注重 实效 的 策略 。 


为 了 正确 地 使 用 代码 覆盖 率 度量 ,或 者 说 为 了 让 投入 在 代码 覆盖 率 上 的 时 间 获 得 丰厚 的 回 
报 , 测试 人 员 必 须 理解 评估 代码 覆盖 率 的 目的 。 正 如 测试 是 对 代码 的 反馈 ,代码 覆盖 率 是 对 测试 
的 反馈 。 绪 取代 码 覆 盖 率 , 不 是 要 证 明 测试 的 充分 性 ， 而 是 要 发 现 测试 的 遗漏 ， 从 而 补充 测试 用 
例 ， 以 发 现 隐藏 的 缺陷 。 所 以 ,代码 覆盖 率 是 一 种 寻找 缺陷 的 技术 ， 是 提高 测试 的 手段 ,不 是 测 
试 的 目的 。 只 收集 代码 履 盖 率 ， 却 不 利用 它 去 发 现 更 多 的 缺陷 ， 是 误 入 此 途 。 

然而 , 在 项 目 结束 前 ,测试 人 员 往 往 有 许多 缺陷 要 做 回归 测试 ， 要 分 析 压 力 和 性 能 测试 的 结 
果 , 要 与 其 他 团队 配合 进行 跨 系统 的 集成 测试 。 在 这 种 情况 下 , 他 们 没有 充足 的 时 间 来 阅读 代码 、 


调查 代码 覆盖 情况 。 此 时 的 代码 覆盖 率 统计 只 是 一 项 必须 完成 的 任务 ， 难 以 给 项 目 带 来 明显 的 收 
益 。 那 么 何 时 才 是 分 析 代 码 歼 盖 率 的 最 佳 时 机 呢 ? 以 下 是 我 听 到 故事 后 的 思考 。 


A 


a rss 并 一 直 持 续 到 项 目 结 束 。 测 试 人 员 应 该 从 
项 目 早期 就 开始 理解 代码 ， 并 逐步 增加 测试 用 例 。 随 着 项 目的 展开 ,他 需要 知晓 代码 的 
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变化 和 测试 的 不 足 ， 这 时 代码 履 盖 率 能 提供 有 帮助 的 信息 。 为 此 ,他 需要 持续 统计 代码 
履 盖 率 ， 并 用 它 来 改进 测试 。 以 下 是 三 种 可 能 的 做 法 。 
第 一 , 每 日 构建 生成 产品 的 发 布 版 、 调 试 版 和 履 盖 版 ， 使 得 自动 化 测试 可 以 提供 最 
新 的 履 盖 率 结果 。 通 常 履 盖 版 都 是 对 调试 版 进行 代码 插 桩 所 得 ， 行 为 与 调试 版 一 致 。 除 
了 一 些 性 能 敏感 的 测试 用 例 ， 其 他 测试 用 例 都 可 以 在 履 盖 版 上 执行 ,以 获得 大 部 分 测试 
用 例 的 覆盖 率 。 在 我 的 部 门 ， 有 一 个 项 目 组 就 是 这 么 做 的 。 他 们 的 每 日 测试 会 生成 一 份 
当天 的 代码 覆盖 率 报 告 供 测试 人 员 参 考 。 
第 二 , 定期 生成 被 测试 程序 的 覆盖 版 , DRS, 现在 代码 窗 盖 率 工具 很 多 ， 
测试 人 员 很 容易 收集 代码 履 盖 率 信 息 。 工 具 的 门槛 很 低 ， 关 键 在 于 投入 精力 ， 坚 持 收 集 
并 分 析 。 
第 三 ， 不 借助 代码 履 盖 率 工 具 ， 通 过 阅读 代码 、 在 调试 器 中 执行 测试 用 例 来 分 析 代 
码 履 盖 率 。 这 种 方法 的 优点 是 启动 成 本 低 ， 可 以 随时 执行 ; 缺点 是 难以 生成 美观 的 代码 
履 盖 率 报告 。 从 提高 测试 质量 的 角度 看 ， 其 效果 与 其 他 策略 相当 ， 甚 至 可 能 更 好 。 因 为 
代码 覆盖 率 的 关键 不 是 工具 ， 而 是 对 代码 的 理解 。 
由 以 上 案例 不 难看 出 , 测试 人 员 需 要 探究 度量 方法 背后 的 目标 。 唯 有 如 此 ,他 才能 在 恰当 的 
时 机 ， 以 恰当 的 方式 来 实施 度量 ,并 实现 目标 。 忽 视 度量 背后 的 动机 ,将 错过 改进 测试 流程 的 机 
会 ， 难 以 真正 提高 开发 过 程 的 质量 。 
在 理解 目标 之 后 , 测试 人 员 可 以 更 好 地 实施 度量 , 让 度量 成 为 软件 开发 的 助手 。 下 面 是 一 个 
实 的 案例 。 


真 


将 


P 


有 一 次 ， 我 接 到 一 个 测试 任务 ， 去 测试 一 个 Web 服 务 。 这 个 Web 服 务 用 C# 实 现 ， 它 
接受 外 部 调用 ,根据 输入 值 更 新 后 侣 数据库 的 数据 。 这 是 一 个 小 项 目 ， 核心 次 辑 大 约 在 
千 行 上 下 。 我 接手 的 时 候 ， 代 码 已 经 写 完 。 开 发 者 有 简单 的 测试 ， 他 提供 了 5 条 端 到 端 
自动 化 测试 用 例 供 我 参考 。 

当时 ， 我 最 头痛 的 是 不 知道 该 Web 服 务 的 业务 逻辑 和 实现 逻辑 。 在 仔细 地 阅读 了 规 
格 说 明和 几 封 很 长 的 讨论 邮件 之 后 ， 大 致知 晓 了 项 目 背 景 ， 但 是 仍旧 不 了 解 实现 逻辑 ， 
也 不 知道 什么 行为 是 可 以 接受 的 、 什 么 行为 是 错误 的 。 由 于 开发 者 与 我 有 16 个 小 时 的 时 
差 ， 不 能 随时 和 他 联系 ， 很 多 问题 得 不 到 及 时 的 解答 ， 测 试 很 难 展开 。 

为 了 有 所 突破 ， 我 开始 阅读 实现 代码 。 我 的 方法 是 ， 在 编程 工具 Visual Studio 中 单 
步 执行 开发 者 的 测试 用 例 , 观察 程序 中 变量 值 的 变化 和 数据 库 中 数据 的 改变 。 有 了 初步 
的 认 知 ， 我 开始 增加 测试 用 例 。 大 部 分 测试 用 例 都 是 一 个 模式 。 

步骤 1: 恢复 被 测 Web 服 务 的 数据 库 到 初始 状态 。 

步骤 2: 调用 Web 服 务 。Web 服 务 是 无 状态 的 ， 但 是 它 会 改变 数据 库 中 的 数据 。 

步骤 3: 对 数据 库 中 的 数据 进行 一 致 性 检查 。 我 花 了 许多 时 间 编 写 并 增强 检查 代码 ， 
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整个 测试 开发 过 程 是 渐进 的 。 

步骤 4: 执行 当前 测试 所 特有 的 检查 。 

设计 完 一 个 测试 用 例 ， 我 就 在 Visual Studio 中 单 步 执行 它 ， 从 而 更 深入 地 了 解 实现 
逻辑 。 在 阅读 、 执 行 代 码 的 过 程 中 ,我 发 现 了 一 些 潜在 的 问题 。 这 时 ,我 会 增加 一 个 测 
试用 例 去 “证 明 ” 当 前 问题 可 以 导致 产品 的 失败 。 随 着 测试 用 例 越 来 越 多 ,我 对 代码 的 
理解 也 越 深 ,发现 的 缺陷 也 越 多 。 后 来 ,缺陷 不 那么 好 找 了 ， 我 就 仔细 地 读 代 码 ， 特 别 
是 那些 没有 被 测试 覆盖 过 的 代码 。 然后, 便 增加 测试 用 例 去 尽 可 能 地 提高 测试 用 例 的 改 
盖 府 。 当 时 的 策略 是 ,测试 用 例 集 要 尽 可 能 地 替 盖 所 有 的 代码 块 ， 它 还 要 窗 盖 主要 的 数 
据 状态 和 我 觉得 有 风险 的 数据 变更 。 

在 项 目 结 束 的 时 候 ， 我 对 测试 的 代码 覆盖 率 很 有 自信 。 只 有 三 个 在 catch 语 和 句 中 的 
代码 块 没有 被 覆盖 ， 它 们 在 产品 环境 中 被 执行 的 概率 非常 低 。 而且 我 仔细 阅读 过 代码 ， 
它们 即便 被 执行 也 不 会 导致 失败 。 实际 上 , 我 比较 担心 的 是 测试 没有 窗 盖 一 些 复杂 的 数 
据 转 换 。 虽 然 我 在 不 停 地 补充 此 类 测试 用 例 ， 但 是 这 个 项 目的 测试 周期 较 短 ,测试 用 例 
能 够 履 盖 的 程序 状态 空间 还 是 偏 少 。 庆 幸 的 是 ， 产 品 上 线 后 运行 良好 ， 没 有 发 现 问题 。 

回顾 这 个 项 目 ， 我 觉得 有 两 点 经 验 可 以 吸取 。 

第 一 ， 人 的 大 脑 才 是 最 好 的 代码 履 盖 率 工 具 。 代 码 履 盖 率 工具 能 提供 大 量 的 信息 。 
只 有 在 充分 理解 代码 与 测试 的 前 提 下 , 这 些 信 息 才 能 得 到 有 效 的 利用 。 这 个 项 目的 代码 
规模 较 少 ， 因 此 我 没有 使 用 代码 覆盖 率 工 具 。 通 过 反复 阅读 代码 、 调 试 代码 ,我 收集 了 
代码 履 盖 率 信息 ， 并 利用 这 些 信息 改进 了 测试 。 可 以 说 ， 代 码 履 盖 率 是 随 着 对 代码 不 断 
的 探索 而 自然 提高 的 。 对 于 大 型 项 目 ， 合理 的 利用 代码 覆盖 率 工具 自然 是 大 有 神 益 的 。 
在 这 一 过 程 中 ， 阅 读 、 理 解 、 探 索 代 码 仍旧 是 指导 测试 的 核心 活动 。 

第 二 , 代码 覆盖 率 只 提供 了 程序 结构 被 覆盖 的 信息 , 测试 人 员 还 需要 关注 程序 状态 
是 否 被 有 效 地 替 盖 。 在 本 项 目 中 ,程序 的 状态 可 以 视 为 数据 库 中 的 数据 值 。Web 服 务 能 
否 完成 很 多 时 候 取决 于 初始 数据 值 是否 有 效 、 目 标 数 据 值 是 否 可 以 接受 。 相同 的 执行 路 
径 对 于 不 同 的 数据 会 产生 完全 不 同 的 结果 。 如 果 仅仅 关注 程序 结构 ,很 可 能 会 漏 掉 一 些 
由 程序 状态 引发 的 问题 。 


9.4.3 ”掌握 属性 和 算法 的 联系 


在 常用 软件 度量 中 ， 大 部 分 属性 是 很 难 直 接 评估 的 ， 度 量 方法 都 是 在 统计 替代 对 象 的 情况 。 
也 就 是 说 , 度量 方法 本 质 上 并 没有 直接 评 佑 属性， 而 是 在 提供 替代 对 象 的 信息 。 基 于 某 种 理论 或 


假设 ， 度 量 者 认为 奉 代 对 象 的 信息 反应 了 属性 的 特征 ， 即 算法 和 
总 结 了 一 些 常见 度量 的 属性 、 替 代 对 象 和 联系 。 


属性 间 存 在 合理 的 联系 。 表 9-4 
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表 9-4 ”属性 和 算法 的 联系 


属 性 算法 所 使 用 的 替代 对 象 联系 (算法 所 依赖 的 假设 ) 
代码 的 复杂 度 分 支 和 循环 关键 字 的 出 。 分 支 和 循环 可 能 带 来 复杂 的 执行 路 径 ， 复 杂 的 执行 路 径 会 
现 频率 理解 困难 。 


。 分 支 和 循环 越 密集 ， 代 码 就 越 复杂 。 


。 分 支 和 循环 所 带 来 的 复杂 性 是 代码 复杂 性 的 主要 来 源 


产品 质量 当前 活跃 的 缺陷 数目 e 产品 功能 已 经 基本 完成 ， 所 有 未 实现 的 功能 都 有 缺陷 在 追踪 。 
e 测 试 人 员 在 全 力 寻 找 错误 ,他 们 的 测试 策略 是 多 样 且 有 威力 的 。 
e 测 试 人 员 有 充分 的 时 间 和 资源 来 寻找 错误 。 
。 测试 人 员 报 告 了 他 们 发 现 的 所 有 缺陷 和 疑虑 。 


o 缺陷 评审 小 组 认真 I 
法 (修复 、 不 予 修复 、 延 后 修复 


制定 了 正确 的 解决 方 


e 程序 能 够 正确 地 修复 缺陷 ， rT 


修复 。 


© 任何 人 都 遵守 标准 的 缺陷 处 理 流 程 ， 不 会 随意 关闭 缺陷 


测试 执行 的 质量 测试 执行 所 覆盖 的 语句 o 如 果 测 试 覆盖 了 某 条 语句 ， 那 么 它 就 覆盖 了 该 语句 对 应 的 所 有 
机 器 代码 。 
o 如 果 测 试 覆盖 了 某 条 语句 ， 那 么 它 很 可 能 发 现 其 中 的 缺陷 。 
。 如 果 测 试 没 有 履 盖 某 些 语句 ， 那 么 它 不 能 发 现 其 中 的 缺陷 
测试 的 进度 记录 在 案 的 测试 用 例 数 。 大 部 分 测试 用 例 拥有 相似 的 粒度 和 工作 量 。 
目 和 已 经 执行 的 测试 用 大 部 分 测试 用 例 已 经 记录 在 案 。 
例 数目 e 测试 人 员 不 会 再 记录 更 多 的 测试 用 例 。 这 意味 着 软件 需求 冻结 
软件 设计 不 再 变更 ， 新 的 项 目 风 险 不 会 出 现 。 
e 测试 人 员 会 记录 每 个 测试 用 例 的 结果 。 
e 测试 人 员 在 测试 过 程 中 不 设计 新 的 测试 用 例 。 这 意味 着 他 不 调 


查 测试 所 发 现 的 新 情况 


测试 人 员 的 工作 绩效 。 测试 人 员 所 发 现 缺 陷 的 。 测 试 人 员 的 大 部 分 时 间 都 在 执行 测试 并 报 


告 缺 陷 。 这 意味 着 他 


数目 不 进行 其 他 技术 调查 活动 ， 包 括 帮 助 其 他 人 进行 测试 。 


e 测试 人 员 所 测试 的 模块 拥有 相似 的 测试 复杂 
e 测 试 人 员 所 测试 的 模块 拥有 相当 的 缺陷 数量 
o 程序 员 向 测试 人 员 提 供 了 相同 的 技术 支持 


s 度 和 工作 量 。 


Æo 


由 表 9-4 可 知 ， 常 见 的 度量 方法 往往 依赖 于 一 组 假设 。 任 何 稍 有 工作 经 验 的 人 都 可 以 看 出 许 
多 假设 并 非 总 是 成 立 。 这 意味 着 度量 值 所 提供 的 信息 往往 是 有 偏差 的 ， 是 不 符合 真实 情况 的 。 而 


风险 。 所 以 ,有 经 验 的 测试 人 员 只 把 度量 方法 当做 技术 调查 的 一 种 工具 ,用 它 1 
的 线索 ， 而 非 提 供 最 终 管 案 。 


AL, 度量 值 通常 是 对 复杂 属性 的 简单 评 佑 ， 即 便 有 “一 叶 知 秋 ” 的 潜力 ， 也 难免 “一 叶 障 目 ” 的 


门 来 获得 深入 研究 


因为 度量 结果 总 是 有 偏差 的 、 片 面 的 ， 所 以 仅 凭借 数字 就 作出 项 目 决策 是 危险 的 。 为 了 绪 


得 
全 面 认识 , 测试 人 员 会 使 用 多 个 度量 方法 从 不 同 角 度 评估 属性 ， 并 交叉 比 对 度量 值 。 他 会 进一步 


直接 研究 调查 对 象 ， 获 得 第 一 手 资 料 。 以 下 是 一 些 例子 。 


口 当 测 试 人 员 分 析 代 码 复杂 性 时 ， 他 会 仔细 阅读 复杂 度 较 高 的 代码 ， 分 析 它 们 为 什么 拥有 
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较 高 的 度量 值 。 更 重要 的 是 ， 他 会 针对 代码 的 特点 构思 相应 的 测试 想法 。 

口 当 测 试 人 员 分 析 测 试 活动 的 质量 时 ， 他 会 从 多 个 方面 考察 测试 覆盖 的 情况 : 结构 、 功 能 
数据 、 接 口 、 平 台 、 操 作 、 时 间 等 ( 参见 2.2.2 节 )。 基 于 调查 结果 ， 他 会 补充 设计 测试 用 
例 ， 以 弥补 测试 覆盖 的 漏洞 。 

口 当 测 试 经 理 评 佑 测试 进度 时 ， 他 会 在 多 个 维度 上 分 析 已 经 完成 的 测试 工作 : 缺陷 、 和 需求、 
代码 、 配 置 、 变 更 历史 、 程 序 员 、 测 试 人 员 、 数 据 等 。 任 何 单一 的 度量 方法 都 是 不 够 的 ， 

HEET ERT 

O 当 产 品 经 理 需 要 了 解 产品 质量 时 ， 他 会 用 “卖点 漫游 ”去 考察 产品 最 具 价 值 的 情景 ， 并 

真实 的 任务 来 考验 它 的 表现 。 此 外 ， 他 会 和 测试 人 员 交 谈 ， 了 解 他 们 发 现 的 问题 ， 倾 
听 他 们 对 项 目 风 险 和 产品 缺点 的 担忧 。 他 还 会 和 程序 员 交 流 ， 了 人 解 他 们 所 面临 的 困难 和 
需要 完成 的 任务 。 在 很 多 时 候 ， 询 问 团队 成 员 对 项 目 和 产品 的 “感觉 ”， 能 够 获得 许多 有 
价值 的 信息 。 

口 当 测 试 经 理想 要 了 解 下 属 的 工作 情况 时 ， 他 会 阅读 测试 人 员 提 交 的 缺陷 报告 ， 以 了 解 他 
的 测试 方法 、 诊 断 问题 的 技巧 、 书 写 报告 的 严谨 程度 。 然 后 ， 他 会 与 测试 人 员 面 谈 ， 知 

晓 他 面 对 的 具体 问题 ， 以 及 他 所 采取 的 解决 方案 。 


当 测 试 人 员 获得 度量 值 之 后 , 他 需要 自问 : 这 些 度 量 值 该 作 何 解释 ?如 何 解 释 度 量 算法 与 属 
性 的 联系 ”如何 解释 度量 算法 的 合理 性 ? 我 需要 具体 调查 哪些 对 象 来 获得 解释 ? 为 什么 度量 值 
如 此 之 低 (或 如 此 之 高 ) ?它们 反应 了 什么 情况 ?针对 这 些 情况 ,我 应 该 采取 何 种 行动 ? 这 些 问 
题 将 驱动 他 做 一 些 后 续 研 究 ， 获 得 更 全 面 的 理解 。 


当 测 试 人 员 向 管理 层 提交 度量 值 之 前 , 他 必须 能 够 清晰 地 解释 度量 值 的 含义 , 并 用 具体 的 案 
例 来 支持 自己 的 观点 。 如 果 某 个 度量 值 引起 了 项 目 领 导 的 兴趣 ， 他 会 向 测试 人 员 询 问 相关 情况 。 
如 果 测 试 人 员 不 能 解释 自己 给 出 的 数值 , 他 的 专业 水 平 会 受到 质疑 ,而 职业 的 测试 人 员 能 够 阐述 
度量 值 所 反应 的 情况 ， 给 出 详细 的 案例 说 明 ， 并 提出 自己 的 建议 。 


944 理解 度量 方法 的 优点 和 缺点 


在 掌握 了 属性 和 算法 的 联系 后 ,测试 人 员 需 要 理解 度量 方法 的 优点 和 缺点 。 例 如 ,语句 覆盖 
率 是 常用 的 测试 覆盖 率 度量 方法 ， 它 拥有 如 下 优点 。 


口 粒度 适中 。 从 编译 器 的 角度 ， 程 序 设计 语言 的 基本 构建 块 是 常量、 标识 符 和 运算 符 ， 它 
们 构成 了 表达 式 ， 表 达 式 构成 了 语句 ， 语 句 构成 了 更 复杂 的 函数 和 类 。 虽 然 语句 并 不 是 
语法 分 析 的 最 小 元 素 ， 但 是 它 仍旧 是 编译 需 解 析 代 码 的 基本 元 素 ， 能 够 较 准 确 地 映射 到 
编译 生成 的 机 器 代码 上 。 以 语句 作为 覆盖 率 分 析 的 目标 ， 能 够 较 细 致 地 评估 测试 执行 所 
覆盖 的 机 器 代码 。 

口 简单 易 懂 。 语 句 通 常 是 编写 产品 逻辑 的 基本 单元 ， 是 代码 理解 的 基本 元 素 。 测 试 人 员 能 
够 直观 地 理解 语句 覆盖 率 的 结果 ， 并 针对 尚未 覆盖 的 语句 产生 新 的 测试 想法 。 
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Q 9% 团队 工作 


口 方便 实用 。 目 前 有 许多 成 熟 的 工具 可 以 评估 测试 执行 的 语句 覆盖 率 ， 并 生成 精美 易 读 的 
报告 。 测试 人 员 只 需 付出 很 少 的 精力 去 配置 工具 ， 就 能 够 获得 测试 执行 的 语句 覆盖 率 ， 
为 产生 更 多 的 测试 想法 提供 信息 。 

与 此 同时 ,语句 覆 盖 率 也 具有 一 些 不 可 忽视 的 不 足 。 

口 编译 融通 常 将 程序 设计 语言 的 一 条 语句 翻译 为 多 条 机 器 指令 。 有 时 ， 某 条 语句 被 测试 覆 
盖 并 不 意味 着 所 有 的 机 器 指令 被 测试 覆盖 。 例 如 ， 话 名 bool x = condition1() && 
condition2(); 对 两 个 函数 的 返回 值 实施 与 运算 。 如 果 函 数 condition1 返 回 false， 那 么 与 
运算 符 8 不 会 调用 函数 condition2， 它 会 立即 给 出 计算 结果 false。 有 些 覆 盖 率 工具 不 能 


标记 出 condition2 没 有 被 执行 ， 它 们 会 笼统 地 记录 语句 bool x = condition1() && 
condition2(); 被 测试 覆盖 。 可 见 ， 虽 然 语 句 覆盖 是 一 种 基于 结构 的 覆盖 ， 统 计 语句 覆盖 
率 的 工具 可 能 会 漏 掉 一 些 程序 结构 。 

O 作为 一 种 基于 结构 的 覆盖 方法 ， 语 名 覆盖 率 不 能 发 现 那些 应 该 被 实现 但 是 没有 被 实现 的 
代码 。 许 多 缺陷 的 根源 是 程序 员 没 有 为 特殊 情况 或 异常 情况 编写 处 理 代码 A K 
对 发 现 此 类 错误 没有 帮助 。 此 外 ， 另 一 些 缺 陷 的 原因 是 代码 不 能 合理 地 处 理 输入 数据 或 
程序 状态 ， 语 句 上 覆盖 对 发 现 此 类 数据 与 状态 也 没有 帮助 。 这 意味 着 ，100% 的 语句 覆盖 并 
不 能 保证 程序 经 受 了 足够 的 测试 。 

口 测试 人 员 需 要 考虑 结构 、 功 能 、 数 据 、 接 口 、 平 台 、 操 作 、 时 间 等 覆盖 因素 。 如 果 测 试 
人 员 只 专注 于 语句 覆盖 (结构 覆盖 )， 那 么 他 会 错失 许多 有 价值 的 测试 想法 ， 从 而 遗漏 一 
些 严重 的 缺陷 。 


严格 地 说 ， 任 何 度量 方法 都 是 对 属性 的 简化 ， 其 结果 都 丢失 了 属性 的 一 些 重要 信息 。 因 此 ， 
测试 人 员 必 须 掌 握 方法 的 不 足 ， 唯 有 如 此 他 才能 在 恰当 的 范围 中 运用 方法 ， 并 规避 潜在 的 问题 。 


945 ”密切 关注 度量 的 副作用 


在 许多 项 目 中 , 项 目 管理 者 尝试 用 度量 值 来 推动 项 目 发 展 , 并 激励 项 目 人 员 在 相关 方面 做 得 
更 好 。 这 种 良好 的 意图 可 能 导致 意料 之 外 的 副作用 。 当 员工 意识 到 管理 层 在 强制 要 求 度量 值 到 达 


某 种 水 平时 ， 他 们 会 改变 自己 的 行为 ， 使 得 度量 值 更 “好 看 ”， 而 不 是 让 产品 变 得 更 好 。 恰 如 前 
两 节 所 讨论 的 , 度量 值 只 有 在 特定 假设 成 立时 才能 反应 部 分 的 真实 情况 ,而 强制 追求 度量 值 的 压 


力 会 破坏 有 效 度量 的 前 提 ， 使 得 员工 不 能 正常 工作 ， 领 导 不 能 获得 真实 的 信息 。 


许多 团队 会 用 缺陷 数目 来 评估 产品 质量 。 由 表 9-4 可 知 ， 该 度量 方法 的 有 效 性 依赖 于 一 系列 
前 提 条 件 。 不 幸 的 是 , 这 些 前 提 很 容易 被 破坏 。9.1.2 节 提 到 了 一 个 真实 的 案例 , 在 产品 发 布 前 夕 ， 


项 目的 管理 


者 


判定 了 一 条 规则 : 任何 一 个 新 缺陷 必须 在 24 小 时 内 解决 。 他 们 期 望 程序 员 和 测试 人 


员 可 以 通力 合作 , 让 产品 代码 能 够 快速 稳定 下 来 。 然 而 ,这 条 基于 缺陷 数目 的 规则 导致 了 一 些 不 
良 副作用 。 以 下 是 对 当时 情况 的 描述 。 
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a è 

对 于 一 些 复杂 的 缺陷 , 没有 人 可 以 承诺 在 24 小 时 内 完成 修复 和 检验 。 但是， 程序 员 
和 测试 人 员 仍 旧 愿 意 修复 它们 。 因 为 产品 是 他 们 的 工作 成 果 ， 体现 了 他 们 的 价值 ， 所 以 
他 们 想 竭 尽 所 能 去 提高 其 质量 。 不 幸 的 是 ,缺陷 评审 小 组 会 因为 缺陷 无 法 在 24 小 时 内 修 
复 ， 将 其 解决 为 “不 予 修复 ”或 “延迟 修复 ”。 这 挫伤 了 第 一 线 员 工 的 士气 。 

为 了 让 缺陷 得 到 修复 ,测试 人 员 在 发 现 缺陷 之 后 ,并 不 提交 正式 的 缺陷 报告 ， 而 是 
直接 通知 程序 员 ， 让 其 着 手 修复 。 在 程序 员 在 完成 修复 后 ， 测 试 人 员 才 正式 提交 缺陷 。 
也 就 是 说 ， 测 试 人 员 和 程序 员 达 成 了 协议 ， 共 同 开发 出 一 个 秘密 的 开发 流程 。 他 们 一 边 
在 维护 管理 层 所 希望 的 度量 值 ， 一 边 在 按 自己 的 心愿 来 改进 产品 。 

另 一 种 让 缺陷 得 到 修复 的 办 法 是 只 提交 最 严重 的 缺陷 , 以 获得 缺陷 评审 小 组 的 修复 
许可 。 在 签 入 代码 时 ， 程 序 员 会 同时 签 入 多 个 缺陷 的 修复 。 也 就 是 说 ， 程 序 员 和 测试 人 
员 保 存 了 一 份 不 公开 的 缺陷 列表 ， 他 们 会 批量 地 编写 、 测 试 和 签 入 修复 代码 。 

无 论 哪 种 方法 都 使 得 管理 层 不 能 准确 地 知晓 目前 有 哪些 活路 的 缺陷 、 缺 陷 的 严重 程 
度 如 何 、 缺 陷 发 现 呈 现 出 何 种 趋势 ,也 使 得 缺陷 报告 不 能 反应 缺陷 修复 的 工作 量 。 这 动 
摇 了 项 目 决 策 的 数据 基础 ， 令 项 目 发 展 承担 了 更 大 的 风险 。 令 人 忱 惜 的 是 ,管理 者 、 程 
序 员 、 测 试 人 员 都 在 以 自己 的 方式 来 帮助 产品 ， 却 令 产 品质 量 受 到 威胁 。 


有 些 项 目 团队 不 但 统计 缺陷 数目 , 还 会 统计 测试 用 例 总 数 和 已 通过 的 测试 用 例 数 目 , 以 评估 
测试 活动 的 进度 。 我 认为 这 种 基于 测试 用 例 数目 的 进度 度量 不 会 获得 期 望 的 效果 , 且 具 有 严重 的 
副作用 。 


口 测试 人 员 无 法 预测 有 多 少 测试 用 例会 被 执行 。 在 测试 过 程 中 ， 新 发 现 会 激发 新 的 测试 想 
法 ， 进 而 生成 更 多 的 测试 用 例 。 因 为 测试 人 员 不 能 预料 会 发 现 哪 些 信 息 和 缺陷 ， 他 也 不 
能 给 出 最 终 的 测试 用 例 总 数 。 既 然 估算 测试 用 例 总 数 是 “不 可 能 的 任务 ”测试 人 员 就 只 
能 提供 一 个 不 确定 性 很 大 的 估算 值 。 利 用 这 样 的 估算 值 评估 项 目 情况 是 有 风险 的 。 

口 强制 要 求 测试 人 员 记 录 所 有 测试 用 例 及 其 执行 结果 会 浪费 测试 人 员 的 时 间 。 测 试 是 一 个 
探索 过 程 ， 测 试 人 员 设 计 测 试用 例 ， 以 刺探 产品 信息 ， 并 根据 产品 的 反应 设计 更 多 的 测 
试用 例 。 记 录 所 有 的 测试 用 例 及 其 结果 会 打 断 “设计 一 实验 一 反思 一 再 设计 ”的 和 迭代 过 
程 ， 降 低 了 测试 效率 。 而 且 ， 并 不 是 所 有 的 测试 用 例 都 有 文档 化 的 价值 。 许 多 测试 用 例 
只 需要 运行 一 次 ， 将 它们 记录 在 案 只 是 纯粹 的 文案 工作 ， 不 会 为 项 目 提供 价值 。 在 大 多 
数 情况 下 ， 测 试 人 员 只 需 记 录 测 试 数据 、 测 试 策略 (一 组 指导 测试 设计 的 测试 想法 ) 和 
所 发 现 的 缺陷 与 风险 ( 为 后 续 的 测试 设计 提供 指导 信息 )。 更 多 讨论 请 参考 3.2.13 节 介绍 
的 测 程 表 。 

口 因为 详细 地 预测 和 记录 测试 用 例 不 是 切实 可 行 的 测试 活动 ， 测 试 人 员 通 常 不 会 认真 地 统 
计 测 试用 例 总 数 和 已 通过 的 测试 用 例 个 数 〈 即便 他 们 认真 对 待 ， 也 会 受挫 )。 这 意味 着 他 
们 提供 的 信息 是 不 准确 的 ， 而 使 用 不 准确 的 信息 会 导致 错误 的 项 目 决定 。 此 外 ， 不 合理 
的 度量 会 挫伤 员工 的 积极 性 ， 隐 性 地 降低 工作 效率 。 
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坦率 地 说 , 度量 的 副作用 往往 来 自 管理 层 制定 的 开发 流程 。 测 试 人 员 可 能 没有 勇气 公开 对 项 
目 管理 者 提 出 反对 意见 。 然 而 ,沉默 并 不 会 缓解 问题 ， 负 责任 的 测试 人 员 应 该 做 正确 的 事 。 这 并 
不 容易 ， 也 没有 通用 的 应 对 方法 。 本 节 提 供 两 点 建议 ， 供 测试 人 员 人 参考。 


第 一 , 测试 人 员 应 该 坚持 原则 ， 以 正直 的 态度 来 服务 团队 。 这 体现 为 测试 人 员 应 该 提供 诚实 
的 信息 ,包括 如 实 提 交 缺 陷 、 报 告 进度 、 提 供 度量 值 等 。 即 便 存 在 “ 夭 灭 ”缺陷 的 压力 ,测试 人 
员 也 要 如 实 提交 所 发 现 的 错误 .即便 度量 方法 不 甚 合 理 , 测试 人 员 也 要 提供 真实 而 非 杜撰 的 数值 。 
诚实 地 提供 技术 信息 是 测试 人 员 的 职责 ， 也 是 后 续 改 进 的 基础 。 


第 二 , 测试 人 员 应 该 密切 关注 度量 的 副作用 。 如 果 发 现 某 个 度量 正在 产生 负面 影响 ,他 应 该 
构建 理论 、 收 集 证 据 和 提出 改进 方法 。 也 就 是 说 ， 他 要 能 解释 该 度量 的 基本 元 素 〈 意 图 、 属 性 、 
算法 、 联 系 )， 并 阐述 它 会 在 当前 项 目 环境 中 产生 不 良 副 作用 。 然 后 ， 他 需要 收集 支持 其 观点 的 
案例 和 数据 。 仅 仅 表明 当前 度量 存在 问题 是 不 够 的 ,测试 人 员 还 需要 思考 如 何 改进 当前 流程 ， 提 
出 相应 的 解决 方法 。 之 后 ， 他 应 该 与 测试 经 理 一 对 一 地 面谈 ， 解 释 自己 的 理论 、 证 据 和 新 方法 ， 
向 他 提供 第 一 线 员工 对 工作 流程 的 反馈 。 有 时 , 测试 人 员 可 以 和 几 个 同事 达成 一 致意 见 ， 然 后 一 
起 向 测试 经 理 反 馈 意 见 ， 利 用 团队 的 力量 来 增强 观点 的 说 服 力 。 


9.46 ”注重 实效 的 计算 
与 9.3.3 节 所 介绍 的 历史 数据 收集 一 样 ， 度 量 的 计算 也 应 该 力求 简单 、 自 动 和 准确 。 


首先 ， 测 试 人 员 应 该 优先 考虑 简单 的 度量 方法 ， 如 代码 行 数 统计 、 缺 陷 个 数 统计 等 。 这 些 度 
量 方法 拥有 明确 的 统计 对 象 , 简单 明了 的 算法 ,能够 更 直接 地 阐述 度量 值 的 含义 。 度量 只 是 技术 
调查 的 辅助 工具 , 简单 的 方法 能 用 较 小 的 付出 获得 足够 好 的 信息 , 为 后 续 调 查 留 下 更 多 的 资源 和 
时 间 。 随 着 项 目的 发 展 , 他 可 以 逐渐 引入 一 些 新 的 度量 方法 。 这 是 一 个 实验 的 过 程 ， 他 会 保留 被 
实践 证 明 行 之 有 效 的 方法 ， 并 去 除 那 些 没 有 帮助 的 方法 。 


其 次 , 测试 人 员 应 该 尽量 自动 地 计算 度量 结果 。 本 书 的 7.1.1 节 、8.2.1 节 、8.2.2 节 、9.3.3 节 对 
此 提供 了 一 些 建 议 。 简 而 言 之 , 测试 人 员 应 该 掌握 一 门 开发 效率 高 的 程序 语言 ， 从 而 快速 地 实现 
度量 算法 。 考虑 到 许多 团队 用 数据 库存 储 项 目 数据 ， 熟练 地 使 用 SQL 将 帮助 测试 人 员 极 大 地 提高 
开发 效率 。 此 外 ,电子 表格 软件 能 快速 地 完成 一 些 计算 任务 ， 且 提供 了 强大 的 作 图 功能 ， 也 是 测 
试 人 员 计 算 和 呈现 度量 值 的 好 工具 。 


第 三 , 测试 人 员 应 该 在 测试 活动 结束 后 立即 收集 度量 所 需要 的 输入 数据 。 准 确 的 度量 值 依赖 
于 正确 的 算法 和 准确 的 数据 。 为 了 避免 记忆 错误 、 数 据 丢 失 等 问题 ,测试 人 员 应 该 尽早 收集 必要 
的 项 目 数据 , 并 妥善 保存 。 如 果 用 测 程 组 织 测试 活动 , 他 可 以 在 一 个 测 程 结束 后 , 记录 相关 数据 。 
此 外 ， 他 也 可 以 在 每 天 下 班 前 回顾 当天 的 工作 ， 反 思 测 试 策略 ， 总 结 测试 进度 ， 并 记录 必要 的 
数据 。 
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9.5 测试 小 组 


测试 小 组 是 项 目 团队 的 一 部 分 ,是 一 个 小 型 的 团队 。 所 谓 团队 不 是 一 群 在 同一 地 点 工作 的 人 ， 
而 是 一 群 彼此 支持 以 达成 共同 目标 的 人 。 本 市 讨论 测试 人 员 如 何 加 入 测试 小 组 的 团队 协作 中 。 


9.5.1 价值 观 


适应 团队 风格 的 第 一 步 是 了 解 团 队 的 价值 观 。 有 些 团 队 会 明确 阐述 自己 所 秉持 的 价值 观 , 并 在 
日 常 工作 中 予以 贯彻 。 即便 没有 明文 记载 , 测试 人 员 仍 旧 可 以 感受 到 测试 小 组 固有 的 工作 风格 和 价 
值 取舍 。 在 这 样 的 团队 中 ,测试 人 员 要 遵循 团队 的 价值 观 ， 使 自己 的 行为 符合 同事 与 领导 的 期 望 。 


不 过 ， 有 些 团队 并 没有 明确 的 价值 观 ， 或 者 测试 小 组 的 行为 并 不 像 测 试 经 理 所 宣 称 的 那样 。 
判断 测试 经 理 ( 或 测试 人 员 ) 是 否 真 的 重视 某 件 事 , 就 要 看 他 有 没有 投入 时 间 和 精力 去 把 它 做 好 。 
如 果 测 试 经 理 宣称 他 非常 重视 测试 人 员 的 协作 , 却 很 少 出 席 例 行 的 测试 协调 会 议 , 那么 测试 人 员 
就 知道 “测试 协作 ”并 不 是 他 最 重视 的 东西 。 如 果 测 试 经 理 反 复 强调 自动 化 测试 的 重要 性 , 测试 
小 组 却 任 由 大 量 的 测试 用 例 遭 遇 失 败 而 不 予 修复 ， 那 么 测试 人 员 就 知道 “自动 化 测试 的 稳定 性 ” 
并 不 是 高 优先 级 的 任务 。 无 论 团 队 风格 如 何 ,测试 人 员 都 必须 对 自己 负责 ， 他 需要 确定 自己 的 价 
值 观 ， 以 引导 自己 的 职业 发 展 。 


不 同 的 测试 人 员 基 于 自身 情况 和 项 目 环境 会 建立 不 同 的 价值 观 。 其 中 , 有 两 点 是 需要 坚持 的 


= 


基础 。 第 一 点 是 本 章 所 反复 强调 的 “正直 ”, 这 是 一 个 信息 提供 者 的 信誉 基础 。 第 二 点 是 “互助 ”， 
这 是 团队 工作 的 基础 。 


互助 的 第 一 步 是 高 质量 地 完成 自己 的 工作 。 一 方面 ， 只 有 先行 完成 自己 的 工作 , 才 有 额外 的 
时 间 去 帮助 测试 伙伴 。 男 一 方面 , 测试 人 员 之 间 是 相互 配合 的 关系 ,高 质量 的 工作 成 果 可 以 支持 
其 他 测试 人 员 更 好 地 工作 。 


对 于 测试 人 员 而 言 ,互助 还 意味 着 在 团队 中 分 享 测试 情报 , 让 其 他 人 可 以 了 解 最 新 情况 ， 避 
开 已 知 问题 ， 从 而 更 有 效 地 探索 软件 。 例 如 ， 测 试 人 员 可 以 在 以 下 领域 中 作出 贡献 。 


口 测试 小 组 周 会 。 许 多 测试 小 组 会 举办 周 会 ， 以 颁布 制度 、 通 报 情况 、 布 置 任务 、 协 调 活 
动 、 展 示 技术 等 。 通 常 ， 测 试 经 理会 主持 周 会 ， 负 责 具体 任务 的 测试 人 员 会 介绍 相应 的 
情况 。 如 果 测 试 人 员 有 信息 需要 分 享 给 测试 小 组 ， 他 可 以 事先 通知 测试 经 理 ， 以 便 将 相 
关内 容纳 入 会 议 议程 。 在 会 议 上 ， 他 会 介绍 情况 ， 并 回答 小 组 成 员 的 提问 。 如 果 有 一 些 
问题 不 能 当场 解决 ， 他 应 该 妥善 记录 ， 并 在 会 后 积极 跟 进 。 

O 测试 小 组 知识 库 。 组 织 良 好 的 测试 小 组 都 会 考虑 构建 自己 的 知识 库 。 知 识 库 的 载体 通常 
是 支持 多 人 协作 编辑 的 Wiki 网 页 或 共享 笔记 本 ( 如 Micorosft OneNote )， 其 内 容 涉及 测试 
活动 的 方方面面 ， 包 括 测试 制度 、 工 作 流程 、 测 试 指 南 、 测 试想 法 列表 、 检 查 列表 、 移 
交 文 档 、 缺 陷 模板 、 文 档 模板 、 常 用 工具 、 推 荐 实践 等 。 好 的 知识 库 提 供 了 一 个 众 所 周 
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口 


团队 的 价值 观 最 终 体现 为 个 体 的 实际 行动 。 测试 人 员 的 行为 不 但 能 帮助 他 融入 团队 ,也 会 对 


知 的 地 点 ， 让 测试 小 组 分 享 其 知识 与 经 验 ， 让 测试 人 员 方 便 地 搜索 有 用 的 信息 。 测 试 人 
员 应 该 积极 地 向 知识 库 贡 献 信息 ， 将 工作 中 发 现 的 、 学 到 的 、 感 悟 的 知识 记录 下 来 。 这 
些 信息 不 但 能 帮助 测试 小 组 ， 而 且 从 长 远 看 ， 对 于 测试 人 员 的 职业 发 展 有 滑 滴 成 河 之 效 。 
经 过 一 段 时 间 的 持续 积累 ,测试 人 员 会 发 现 当初 记录 的 片段 信息 渐渐 构成 了 体系 ,自身 
的 能 力也 有 长 足 的 进步 。 

定期 的 测试 报告 。 恰 如 CemKaner 等 测试 专家 所 指出 的 ,测试 小 组 的 力量 来 源 于 沟通 ， 而 
定期 的 状态 报告 是 传递 信息 的 强 有 力 的 工具 [Kaner01]。 因 此 ， 测 试 人 员 应 该 定期 向 测试 
经 理 报告 工作 情况 。 如 有 果 他 承担 了 一 项 服务 于 测试 小 组 的 任务 ， 他 也 应 该 定期 向 测试 小 
组 报告 任务 进展 。 一 般 而 言 ， 状 态 报 告 的 默认 频率 是 每 周一 次 。 对 于 一 些 不 紧急 的 任务 ， 
可 以 两 、 三 周报 告 一 次 ， 最 长 间隔 不 要 超过 一 个 月 。 在 项 目 临 近 发 布 时 ， 他 可 能 需要 每 
天 报告 ， 以 方便 测试 小 组 掌握 进度 、 协 调 工 作 。 


团队 的 价值 观 产生 影响 。 坚 持原 则 并 积极 互助 能 帮助 测试 人 员 和 测试 小 组 更 好 地 发 展 。 


9.5.2 


团队 建设 


在 互助 的 基础 上 , 测试 人 员 需 要 积极 参与 团队 建设 的 活动 。 所 谓 团 队 是 为 了 解决 共同 问题 而 
紧密 协作 的 一 组 人 ， 所 以 团队 建设 的 有 效 方法 是 让 小 组 成 员 一 起 完成 任务 。 这 里 有 两 个 关键 点 : 


EA 
a $ 


小 组 成 员 需 要 协作 才能 获得 成 功 , 单枪匹马 的 作战 无 法 取得 胜利 ; 第 二 , 任务 需要 成 功 完 


成 ， 胜 利 会 帮助 一 群 人 凝聚 为 团队 。 基 于 这 两 点 ， 以 下 活动 对 于 团队 建设 有 潜在 的 帮助 。 


口 


口 


口 
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集成 测试 。 在 集成 测试 或 系统 测试 中 , 测试 小 组 的 成 员 会 测试 同一 个 产品 实例 ,他 们 要 相 
互 配合 以 完成 彼此 依赖 的 测试 任务 。 在 此 过 程 中 ,他 们 会 一 起 制订 计划 ， 共 同 解决 阻碍 测 
试 的 问题 ,交换 彼此 拥有 的 信息 ,携手 完成 测试 流程 。 有 经 验 的 测试 领导 和 测试 人 员 会 努 
力 组 织 集成 测试 活动 ， 通 过 密切 的 协调 和 交流 ， 证 集成 测试 和 团队 建设 都 获得 成 功 。 
结对 测试 、 组 队 测试 和 头脑 风暴 会 议 。 这 些 是 7.3.3 节 所 介绍 的 团队 测试 活动 ， 其 特点 都 
是 多 个 测试 人 员 共 同 测试 一 个 产品 实例 。 在 短 时 间 内 ， 他 们 密切 地 交流 ， 相 互 传授 业务 
知识 和 测试 技能 ， 以 激发 出 大 量 的 、 多 样 化 的 测试 想法 。 这 些 测试 活动 充分 利用 了 测试 
人 员 的 差异 性 和 互补 性 ， 通 过 实际 测试 展示 出 协同 作战 要 胜 过 单枪匹马 的 战斗 。 此 外 ， 
它们 也 具有 团队 学 习 的 特征 ， 能 让 好 的 测试 技术 在 测试 小 组 中 得 到 传播 。 

缺陷 清扫 。 与 结对 测试 、 组 队 测试 和 头脑 风暴 会 议 相 似 ， 缺 陷 清 扫 是 一 项 短期 的 全 员 测试 
活动 。 除 了 测试 人 员 ， 有 些 缺 陷 清扫 还 邀请 程序 员 、 产 品 经 理 、 内 部 用 户 等 共同 参与 。 其 
主要 优势 在 于 引入 了 “更 多 的 眼睛 ”: 程序 员 更 了 解 代码 实现 , 有 可 能 发 现 隐 藏 的 缺陷 ; 测 
试 人 员 更 擅长 缺陷 猜测 和 持续 攻击 ， 有 可 能 发 现 被 其 他 测试 人 员 所 遗漏 的 缺陷 ; 程序 经 理 
更 理解 领域 和 业务 ， 有 可 能 发 现 流程 和 设计 上 的 缺陷 ; 内 部 用 户 是 软件 的 使 用 者 ， 有 可 能 
发 现 易 用 性 上 的 缺陷 。 总 之 , 参与 者 在 技能 和 角色 上 的 差异 性 有 助 于 发 现 不 同类 型 的 缺陷 。 


9.5 测试 小 组 


接 下 来 ， 本 节 将 介绍 一 个 缺陷 清扫 的 真实 案例 ， 它 反应 了 一 些 团 队 建设 的 基本 要 点 。 当 时 ， 
我 所 在 的 测试 小 组 正在 测试 一 个 在 线 产 品 。 在 发 布 前 ,我 们 进行 了 一 次 缺陷 清扫 ,其 组 织 与 执行 
过 程 如 下 。 


` 


测试 小 组 大 约 有 20 名 测试 员工 。 每 个 员工 会 负责 一 个 或 几 个 子 系统 的 测试 ,这 些 子 
系统 会 组 成 整个 在 线 系统 。 在 集成 测试 阶段 ， 测 试 领导 组 织 了 一 次 缺陷 清扫 ， 以 再 次 探 
测 子 系统 协作 中 的 缺陷 。 

测试 经 理 提前 一 周公 布 了 测试 安排 : 测试 时 间 是 下 周三 下 午 1 点 到 $ 点 ， 测 试 地 点 是 
一 个 足够 容纳 所 有 小 组 成 员 的 会 议 室 ,每 位 员工 携带 笔记 本 电脑 前 往 测 试 。 此 外 ， 他 还 

列举 了 此 次 测试 需要 重点 关注 的 子 系统 和 使 用 情景 ， 并 提供 了 缺陷 模板 。 

随后 ,测试 经 理 安排 几 位 员工 去 搭建 被 测试 系统 。 他 们 选择 了 几 台 计算 机 作为 缺陷 
清扫 的 “专用 测试 机 ”， 部 署 了 所 有 子 系 统 ， 导 入 了 来 自 产品 环境 的 业务 数据 。 接 着 ， 
他 们 做 了 一 些 基本 的 端 到 端 测试 ， 确 保 该 系统 不 存在 阻碍 深入 测试 的 问题 。 

至 此 ， 缺 陷 清 扫 的 准备 工作 完成 。 回 顾 准 备 阶 段 ， 不 难看 出 高 效 的 缺陷 清扫 需要 精 
心 的 安排 。 首 先 ， 测 试 组 织 者 要 明确 地 通报 测试 安排 ， 邀 请 测试 人 员 参 与 测试 。 第 二 ， 
他 需要 公布 测试 指南 。 这 并 不 是 束缚 测试 人 员 的 思 思路 ， 而 是 强调 本 次 测试 的 重点 ， 以 确 
保 测 试 小 组 确实 测试 过 相关 领域 。 第 三 , 测试 组 织 者 要 提供 必要 的 测试 环境 ,包括 足够 
和 舒适 的 会 议 室 、 足 够 稳定 的 被 测 系 统 等 。 

在 缺陷 清扫 当天 ， 测试 小 组 成 员 进 入 会 议 室 , 一 起 测试 。 会 议 宝 中 有 一 张 很 大 的 方 
桌 (由 多 张 桌子 拼接 而 成 )， 让 所 有 人 可 以 围 桌 而 坐 。 如 此 安排 座位 的 好 处 是 ， 测 试 人 
员 一 抬头 就 可 以 看 到 其 他 人 的 脸 ,， 能 够 方便 地 对 话 。 当 测试 人 员 测 试 他 人 负责 的 子 系统 
时 ， 他 可 能 不 了 解 该 子 系统 的 业务 目标 和 使 用 方式 。 这 时 ， 他 可 以 询问 子 系统 的 测试 负 
责 人 ， 以 立即 获得 解答 。 这 种 “即时 通信 ”使 得 测试 可 以 顺畅 地 推进 ， 也 自然 构建 了 测 
试 人 员 之 间 的 互助 关系 。 

在 日 常 工作 中 , 测试 人 员 大 多 在 独立 工作 , 彼此 之 间 的 联系 并 不 紧密 。 在 缺陷 清扫 
中 $ 测试 人 员 进行 渗透 式 交 流 ， 能 够 较 紧 密 地 协 作 。 有 时 ， 一 位 测试 人 员 分 享 他 发 现 的 
严重 缺陷, 这 激 起 了 其 他 人 的 测试 灵感 ， 从 而 能 挖掘 出 更 多 的 问题 。 有时， 他 们 一 起 嘲 
笑 拙 劣 的 设计 和 滑稽 的 缺陷 ,甚至 说 一 些 笑话 以 相互 喜乐 。 这 种 活跃 的 气氛 有 助 于 更 积 
极 、 更 自由 地 测试 。 

经 过 一 段 时 间 , 测试 小 组 发 现 了 一 些 个 人 测试 难以 发 现 的 缺陷 。 首 先 ， Mid) 
盖 了 整个 线 上 系统 , 执行 了 许多 长 流程 、 跨 子 系统 的 情景 , 暴露 出 一 些 集成 层面 的 问题 。 
第 二 ,测试 人 员 在 测试 技巧 和 思考 方式 上 存在 差异 性 ， 当 他 们 测试 他 人 的 系统 时 ， 能 够 
发 现 一 些 被 遗漏 的 缺陷 。 

作为 测试 组 织 者 ,测试 经 理 亲 自 参 与 缺陷 清扫 。 他 也 坐 在 方 桌 边 一 起 工作 。 他 的 行 
为 让 测试 小 组 意识 到 领导 对 缺陷 清扫 和 团队 协作 的 重视 ， 因 为 他 切实 投入 了 自己 的 时 
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间 。 在 测试 过 程 中 ,测试 经 理 每 小 时 都 会 通报 测试 进度 : 目前 已 经 发 现 了 多 少 缺 陷 、 谁 
提交 了 比较 多 的 缺陷 、 哪 些 缺陷 是 值得 注意 的 等 。 利 用 缺陷 数目 ， 他 用 实在 的 测试 进展 
鼓 兽 了 测试 小 组 的 士气 ， 也 推动 了 测试 人 员 之 间 的 良性 竞争 。 
当 测 试 进行 到 一 半 的 时 候 ， 测试 经 理 提供 了 一 些 食品 ， 包 括 墓 片 、 人 饼干 、 水 果 、 饮 
料 等 。 于 是 ,测试 人 员 暂 时 放下 测试 ， 休息 片刻 。 他 们 一 边 吃 东 西 , 一 边 有 闲聊。 这 样 的 
“中 场 休息 ”有 利于 测试 人 员 在 “下 半 场 ”继续 工作 。 
在 缺陷 清扫 结束 后 ， 测 试 经 理 统计 所 提交 的 缺陷 ， 然 后 发 送 总 结 报告 给 测试 小 组 。 
该 报告 感谢 小 组 成 员 的 参与 ,罗列 出 所 有 缺陷 , 并 公布 提交 缺陷 最 多 的 前 三 名 。 几 天 后 ， 
测试 经 理 向 这 三 名 员工 颁奖 ， 奖 品 是 餐 券 、 书 券 等 小 礼品 。 奖 品 并 不 贵重 ， 其 目的 是 提 
高 整个 活动 的 趣味 性 。 
构建 高 效 团队 并 没有 什么 一 定 奏 效 的 方法 , 经 理 所 能 做 的 是 营造 一 个 恰当 的 环境 , 让 团队 逐 
渐 地 自行 凝聚 [DeMacro99]。 在 此 过 程 中 ,测试 人 员 应 该 有 意识 地 帮助 测试 伙伴 和 测试 经 理 ， 这 
对 他 的 职业 发 展 也 大 有 神 益 。 


96 小 结 
本 章 讨 论 了 测试 人 员 如 何 有 效 地 服务 于 团队 ， 并 实施 恰当 的 测试 管理 。 


口 测试 人 员 通 过 服务 团队 来 体现 自己 的 价值 。 这 要 求 他 设 定 正确 的 目标 ， 高 质量 地 完成 工 
作 ， 并 乐于 助人 。 

O 为 了 对 自己 负责 ， 测 试 人 员 应 该 建立 正确 的 价值 观 。 其 中 ， 正 直 和 互助 是 核心 价值 。 

口 测试 人 员 的 影响 力 来 自 于 出 色 的 工作 成 果 和 工作 中 所 表现 出 的 能 

口 团队 成 员 都 在 尽力 帮助 项 目 ， 测 试 人 员 应 该 支持 他 们 ， 并 用 技术 调查 检验 其 工作 。 

口 个 人 测试 计划 是 项 目测 试 计划 的 延伸 ， 需 要 考虑 各 种 项 目 元 素 ， 并 聚焦 风险 。 

口 测试 活动 需要 动态 管理 ， 通 过 测试 迭代 、 动 态 优 先 级 、 有 效 估算 、 及 时 报告 等 实践 来 适 
应 不 断 变 化 的 项 目 语 境 。 

口 测试 人 员 需 要 经 常 自问 :“ 我 现在 可 以 测试 什么 ”能 够 如 何 测试 ?” 

口 测试 人 员 应 该 估算 自己 的 任务 ， 以 此 为 依据 拟定 计划 ， 然 后 做 出 承诺 。 

O 计数 和 计算 是 佑 算 的 基本 手段 ， 项 目 数据 是 它们 的 处 理 对 象 。 因 此 ， 准 确 估 算 的 第 一 步 
是 妥善 地 收集 项 目 数据 。 

口 同时 信 算 最 差 情 况 和 最 好 情况 是 常用 的 估算 技巧 。 而 定期 比较 估算 值 和 实际 值 ， 分 析 不 
准确 估算 的 原因 ， 也 有 助 于 提高 估算 能 力 。 

O 掌握 度量 方法 ,需要 了 解 它 的 意图 、 属 性 、 算 法 、 联 系 、 副 作用 。 

口 所 有 度量 方法 都 具有 局 限 性 ， 要 了 解 它们 的 不 足 ， 并 避免 它们 的 负面 影响 。 

O 凝聚 团队 需要 小 组 成 员 通力 协作 ， 成 功 完 成 一 个 单 人 无 法 承担 的 任务 。 

a “重视 ”一 件 事 应 该 体现 为 花 时 间 和 精力 把 它 做 好 。 
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第 9 章 指出 测试 人 员 是 执行 经 理 ， 需 要 积极 地 管理 自己 的 时 间 和 工作 。 执 行经 理 同 时 也 是 专 
WAR, 应 该 坚持 专业 主义 ,追求 精湛 的 技艺 和 卓越 的 工作 。 为 了 对 团队 和 自己 负责 ,他 应 该 主 
动 实施 个 人 管理 ， 通 过 每 天 的 努力 来 积极 推动 其 职业 发 展 。 

本 童 讨论 个 人 管理 的 基本 实践 ,包含 时 间 管 理 、 个 人 学 习 、 专 业 发 展 等 内 容 。 这 些 主 题 与 个 
人 特点 紧密 相关 ， 所 以 不 同 的 人 会 发 展 出 不 同 风 格 的 方法 ， 且 都 能 获得 很 好 的 效果 。 本 章 将 结合 
我 的 实践 ， 介 绍 一 些 常见 的 原则 和 方法 ， 供 测试 人 员 人 参考。 


10.1 时间 管理 


在 激烈 的 市 场 竞争 中 , 测试 工作 呈现 出 进度 紧 、 任 务 多 的 情形 ， 且 经 常 被 突 发 事件 打扰 。 为 
了 应 对 这 些 挑战 , 测试 人 员 需 要 主动 管理 自己 的 时 间 ， 因 为 时 间 是 最 重要 的 项 目 资源 之 一 ， 它 深 
远 地 影 响 了 测试 活动 的 目标 设 定 、 策 略 选择 和 执行 方式 。 积 极 的 时 间 管 理 将 促成 更 好 的 测试 过 程 ， 
提高 个 人 和 团队 的 绩效 。 


时 间 管 理 本 质 上 是 任务 管理 。 它 意味 着 为 一 组 任务 制订 计划 ,然后 积极 地 行动 ,使 重要 的 任 
务 可 以 在 期 望 的 时 间 内 完成 。 对 于 测试 人 员 而 言 , 时间 管理 是 测试 管理 的 一 部 分 , 其 目的 是 在 项 
目 期 限 内 完成 一 组 动态 变化 的 测试 任务 。 因 此 , 第 9 章 所 讨论 的 测试 计划 、 测 试 迭代 、 动 态 管 理 、 
软件 估算 等 内 容 都 可 以 应 用 于 时 间 管 理 。 本 节 将 介绍 我 是 如 何 具 体 运用 这 些 方 法 的 。 


10.1.1 利用 任务 清单 记录 所 有 工作 项 


对 我 而 言 ， 时 间 管 理 的 第 一 步 是 维护 一 份 任务 清单 ， 用 它 记 录 并 追踪 本 周 的 工作 项 。 这 份 清 
单 既 是 时 间 管理 信息 的 “数据 库 ”， 存 储 了 所 有 的 工作 项 信息 ， 同 时 也 是 一 份 工 作 计 划 ， 安 排 了 
任务 的 执行 顺序 。 这 样 做 的 主要 意图 是 专注 、 备 忘 、 计 划 和 追踪 。 


口 高 效 工 作 的 第 一 步 是 保持 专注 。 这 意味 着 暂时 “忘记 ”其 他 任务 ， 集 中 精力 把 当前 任务 
做 好 。 为 了 避免 “永久 忘记 ”而 错过 完成 期 限 ， 我 需要 把 待 办 事项 都 记录 下 来 。 这 让 我 
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更 放心 地 工作 ， 因 为 我 知道 它们 已 经 被 妥善 保存 ， 可 以 随时 查阅 。 此 外 ， 如 果 我 强迫 自 
己 去 记忆 这 些 工 作 项 ， 难 免 要 在 头脑 中 反复 回顾 ， 这 无 形 中 破 环 了 专注 的 氛围 ， 既 分 散 
精力 ， 又 顾此失彼 。 

O 在 一 周 的 工作 中 ,我 需要 完成 多 个 工作 项 ， 而 且 每 天 都 可 能 接 到 新 任务 。 为 了 做 到 “要 事 
第 一 ”， 我 需要 比较 这 些 工作 项 的 轻重 ， 并 为 它们 安排 恰当 的 时 间 和 资源 。 因 此 ， 我 需要 
将 它们 记录 下 来 ， 以 随时 审视 当前 的 工作 项 ,动态 地 安排 优先 级 ， 并 持续 追踪 完成 进度 。 


我 试 过 几 种 任务 清单 的 形式 。 一 开始 ， 我 将 工作 项 记录 在 一 张 A4 纸 上 ， 完 成 一 项 就 将 它 划 
掉 。 写 满 一 张 纸 ， 就 换 一 张 白 纸 ， 并 将 未 做 完 的 工作 项 着 写 上 去 。 该 方法 简单 易 用 ,任务 清单 一 
直 身 在 工作 桌 上 ,触手 可 及 ， 随 时 待 查 。 当 新 任务 出 现时 ,我 只 需 在 纸 上 记 上 一 行 ， 就 可 以 继续 
当前 工作 ， 几 乎 不 产生 中 上 断 开 销 。 


后 来 ,我 听从 了 《时 间 管 理 给 系统 管理 员 》( Time Management for System Administrators ) 
一 书 的 建议 : 把 所 有 信息 集中 在 一 个 地 方 ， 以 便 随 时 随地 访问 [Limoncelli05]。 于 是 ， 我 将 工作 
项 记录 到 记事 本 中 。 记 事 本 的 优点 是 可 以 随身 携带 ， 有 任何 想法 都 可 以 及 时 记录 。 我 带 着 它 参 加 
各 种 会 议 , 如 果 发 现 新 的 信息 和 任务 , 我 会 记录 下 来 , 并 在 会 后 将 新 任务 补充 到 本 周 工作 列表 中 。 
下 班 后， 如果 我 对 第 二 天 的 工作 产生 了 新 想法 ， 我 会 立即 将 它 写 人 记事 本 ， 从 而 避免 遗忘 


现在 ,我 将 Microsoft OneNote" 作 为 任务 清单 的 载体 , 并 将 笔记 存放 在 Office 365° 的 服务 器 上 。 
电子 笔记 本 较 纸 质 笔 记 本 更 容易 修改 ,没有 着 写 的 开销 。 而 且 ， 随 着 云 计 算 的 发 展 ， 电 子 笔记 本 
能 够 存储 在 云端 , 使 用 计算 机 和 智能 手机 都 可 以 访问 , 同样 具有 随时 随地 读 写 的 能 力 。 我 依然 使 
用 记事 本 记录 日 常 工作 中 发 现 的 信息 和 产生 的 想法 , 但 是 会 将 工作 项 都 转移 到 电子 笔记 本 中 , 使 
它们 在 一 个 地 方 被 存储 和 管理 。 


图 10-1 是 我 的 工作 清单 样 例 ， 它 由 3 个 部 分 组 成 。 第 一 部 分 是 本 周 的 工作 项 列表 。 在 使 用 电子 
笔记 本 之 后 , 我 会 为 较 复杂 的 工作 项 建立 单独 的 页 面 , 并 用 链接 连接 工作 项 和 页 面 。 该 页 面 是 对 应 
任务 的 工作 短 , 用 于 记录 测试 过 程 的 各 种 信息 。 它 没有 固定 的 格式 , 其 内 容 可 能 包含 被 测 构建 的 版 
本 号 、 构 建 位 置 、 参 考 资料 链接 、 测 试 环 境 配置 、 测 试想 法 、 检 查 列表 、 测 试 发 现 等 。 将 任务 清单 
和 任务 页 面 放 在 同一 个 笔记 本 内 ， 让 我 在 测试 时 可 以 快速 地 查阅 信息 ， 并 方便 地 记录 测试 笔记 。 


在 实际 工作 中 ， 任 务 页 面容 纳 了 测试 信息 、 测 试 策略 和 测试 日 志 ， 是 多 种 测试 文档 的 综合 体 。 
以 前 , 我 习惯 用 纸 笔 来 记录 工作 项 和 测试 笔记 , 但 是 我 发 现 这 常常 导致 信息 的 分 散 。 例如, 测试 经 
理发 送 电子 邮件 来 通知 新 任务 , 我 将 该 任务 写 入 记事 本 。 在 测试 时 , 我 经 常 要 参考 任务 邮件 ,以 获 
得 必要 的 测试 信息 。 这 强迫 我 在 记事 本 ( 测试 笔记 ) 和 邮件 (测试 信息 ) 之 间 来 回 切换 ,无形 中 耗 
费 了 精力 。 现在, 我 可 以 直接 将 邮件 内 容 粘贴 到 任务 页 面 中 , 使 得 参考 信息 随时 可 用 。 而 且 , 电子 
笔记 本 支持 截图 、 标 签 、 列 表 、 富 文本 等 对 象 , 令 测试 笔记 更 加 生动 。 在 某 种 意义 上 ,该 笔记 本 为 
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专心 工作 提供 了 一 个 工作 空间 ”， 使 得 测试 活动 的 信息 输入 和 输出 无 需 在 多 个 信息 源 间 切 换 。 此 
外 ， 我 会 定期 存档 任务 页 面 。 今 后 若 接 到 相似 的 任务 ， 我 会 找 出 这 些 页 面 ， 以 获得 参考 资料 。 


任务 清单 的 第 二 部 分 是 本 周 日 程 表 , 它 为 工作 项 安排 了 具体 的 工作 日 。 这 要 求 我 估算 工作 项 
的 时 间 , 并 根据 优先 级 等 因素 安排 其 先后 顺序 。 我 将 性 能 测试 安排 在 周一 , 是 为 了 尽早 提供 性 能 
测试 报告 ， 让 程序 员 有 更 多 的 时 间 去 调查 性 能 问题 。 集 成 测试 被 放 在 周二 和 周三 ， 是 因为 它 需 要 
大 约 1.5 天 的 工作 量 ， 而 且 我 希望 尽早 产生 业务 数据 供 其 他 测试 小 组 使 用 。 缺 陷 清扫 的 团队 活动 
预定 在 周三 举行 , 所 以 该 工作 项 只 能 置 于 周三 。 我 将 补丁 测试 安排 在 周 四 和 周 五 ， 是 因为 没有 其 
他 测试 活动 依赖 于 它 ， 只 要 在 本 周 完成 即 可 。 


日 程 安排 的 本 质 是 测试 计划 , 即 拟定 恰当 的 方案 使 得 工作 项 ( 以 最 大 的 概率 ) 在 一 周 内 完成 ， 
并 提供 符合 关系 人 期 望 的 成 果 。 通 过 日 程 安排 ,我 可 以 判断 本 周 能 否 完成 预定 的 任务 。 如 果 时 间 
不 够 完成 所 有 工作 项 ,我 会 标记 出 一 些 可 以 转移 到 下 周 的 任务 , 将 它们 的 优先 级 降 到 最 低 (通常 
安排 到 周 四 、 周 五 )。 如 果 时 间 还 是 不 够 ， 我 会 和 测试 经 理 讨论 ， 共 同 想 出 一 个 可 行 的 方案 。 有 
关 个 人 计划 和 工作 量 估算 的 更 详细 讨论 请 参考 9.2 节 和 9.3 节 。 


任务 清单 的 第 三 部 分 是 今日 工作 安排 ， 它 以 列表 的 方式 呈现 了 当天 的 具体 工作 。 图 10-1 呈 现 
了 周一 的 工作 安排 , 其 中 有 一 项 工作 是 “修订 本 周 计划 。 这 是 因为 测试 小 组 周 会 有 时 会 分 配 一 些 
新 的 测试 任务 ， 我 会 根据 会 议 内 容重 新 调整 计划 。 
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口 D RBIS AAT 
制 并 回放 一 条 性 能 测试 情景 ， 以 检测 测试 环境 
口 录 币 余下 5 条 性能 测 请 
O 回放 性 能 测试 情景 


O 分 析 数 据 
O 编写 并 发 送 性 能 测试 报告 


图 10-1 任务 清单 
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任务 清单 是 一 份 活动 的 工作 计划 , 它 反应 了 我 对 当前 任务 的 安排 。 下 一 步 我 要 做 的 是 根据 工 
作 进 展 调整 任务 清单 ， 使 工作 计划 不 是 过 时 文案 ， 而 是 反映 真实 情况 并 指引 方向 的 地 图 。 


10.1.2 ”坚持 周 计 划 和 每 日 回顾 


由 图 10-1 所 示 的 任务 清单 不 难看 出 ,我 在 实施 周 循环 所 要 求 的 周 计划 。 所 谓 周 循环 就 是 每 周 
选 定 工作 项 ， 佑 算 时 间 并 制定 方案 ， 然 后 尽 全 力 去 完成 任务 。 人 敏捷 开发 专家 Kent Beck 指 出 周 循 
环 是 极限 编程 的 基本 实践 之 一 , 是 软件 人 员 开 始 敏捷 旅途 的 可 行 起 点 [Beck04]。 在 以 往 的 几 个 项 
目 中 ， 我 都 实施 周 计划 ， 并 获得 了 不 错 的 效果 。 因 此 ，9.2 节 也 建议 测试 人 员 使 用 周 迭 代 作 为 个 
人 测试 计划 的 基本 单元 ， 以 此 来 实现 测试 活动 的 动态 管理 。 


为 了 追踪 周 计 划 的 实施 情况 , 我 实施 每 日 回顾 。 在 下 班 前 , 我 会 检查 当日 工作 列表 ( 如 图 10-1 
所 示 任 务 清单 的 第 三 部 分 )， 并 制定 隔 天 的 工作 列表 。 其 主要 活动 如 下 。 


口 为 新 出 现 的 任务 安排 时 间 。 在 项 目 过程 中 ， 我 经 常 接 到 一 些 计 划 外 的 任务 ， 或 想到 一 些 
值得 尝试 的 测试 策略 。 我 会 将 这 些 工 作 项 都 列 人 周 计 划 ， 然 后 在 每 日 回顾 中 调整 日 程 安 
排 ( 如 图 10-1 所 示 任 务 清单 的 第 二 部 分 )， 为 它们 分 配 工作 日 。 

口 将 当日 未 完成 的 工作 项 移 到 第 二 天 。 有 时 ， 一 些 任务 的 用 时 超出 了 估算 ， 令 一 些 工 作 项 
不 得 不 延 后 。 每 日 回顾 帮助 我 了 解 工作 的 真实 进展 ， 避 免 “埋头 苦 干 ” 却 忘 记 了 实际 进 
度 。 在 工作 项 移动 的 过 程 中 ， 我 会 特别 关注 高 优先 级 任务 ， 评 估 它 们 不 能 完成 的 风险 。 
如 果 某 项 本 周 必须 完成 的 工作 很 可 能 要 延期 ， 我 将 与 测试 经 理 讨论 相关 的 解决 方案 。 

O 为 第 二 天 安排 具体 的 活动 。 这 类 似 于 “微型 计划 ”， 将 工作 项 分 解 为 一 系列 小 的 活动 ， 并 
确定 相应 目标 。 这 些 具体 的 活动 和 目标 将 指引 我 一 步 步 去 完成 工作 项 。 在 获得 具体 的 工 
作 安 排 后 ， 我 会 安心 回 家 ， 因 为 我 知道 第 二 天 的 工作 已 经 “ 尽 在 掌握 ”。 


周一 是 特殊 的 一 天 , 它 的 工作 列表 是 根据 本 周 计划 所 制订 的 。 周 一 上 班 后 ,我 会 拟订 一 份 周 
计划 ， 其 依据 是 上 周 的 工作 情况 和 当前 项 目 进 度 。 然 后 ， 我 参加 测试 小 组 周 会 ,收集 更 多 的 项 目 
信息 。 会 后 , 我 根据 新 信息 调整 周 计划 ， 并 确定 周一 的 工作 列表 。 对 我 而 言 ,周一 上 午 是 制订 周 
计划 的 时 间 ， 而 周一 的 工作 列表 是 周 计划 的 一 部 分 。 

每 日 回顾 将 周 循环 和 日 循环 连接 在 一 起 , 使 任务 清单 ( 工作 计划 ) 总 是 反应 最 新 的 工作 进展 。 


及 时 的 调整 不 但 帮助 我 更 灵活 地 分 配 工作 时 间 , 也 增强 了 我 完成 任务 的 信心 , 降低 了 “最 后 期 限 ” 
带 来 的 压力 。 


10.1.3 ”专注 是 高 效 工作 的 前 提 


对 于 完成 任务 而 言 , 计划 只 是 第 一 步 , 更 重要 的 是 有 效 的 执行 。 执 行 任务 往往 会 依赖 于 外 部 
资源 和 内 部 动力 。 从 时 间 管 理 的 角度 看 ， 专 注 的 工作 可 能 是 最 重要 的 内 部 动力 。 
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许多 时 间 管 理 方法 建议 工作 者 分 配 一 段 时 间 ， 在 其 中 排除 干扰 ， 专 心 致 志 地 完成 一 件 任 务 。 
例如 ，Jonthan Bach 和 James Bach 提 出 了 基于 测 程 的 测试 管理 ,建议 用 一 个 时 间 盒 (时 长 为 60~120 
分 钟 ) 测试 一 个 主题 [Bach00a][Bach04a]。 软 件 专 家 Staffan Noteberg 在 介绍 番茄 工作 法 时 ， 建 议 
程序 员 将 工作 分 解 为 一 系列 番茄 钟 [Noteberg10]。 一 个 番茄 钟 是 一 个 时 间 盒 (通常 是 25 分 钟 )， 用 
于 完成 一 个 明确 的 任务 。 如 果 任 务 没有 完成 ， 就 再 分 配 一 个 番茄 钟 。 知 名 博客 作家 Leo Babauta 
也 强调 聚焦 一 个 目标 的 单 任务 模式 [Babauta09]。 他 的 工作 方式 是 每 天 早上 做 的 第 一 件 事 是 全 天 最 
重要 的 事情 。 在 做 完 之 前 ， 绝 不 碰 其 他 事情 。 做 完 之 后 ， 他 会 稍 作 休息 ， 然 后 做 下 一 件 重 要 的 事 
情 。 还 有 一 些 类 似 的 方法 ， 其 核心 都 是 划 出 一 段 时 间 做 一 件 事情 ,在 “与 所 隔绝 ”的 状态 中 ， 尽 
全 力 工作 。 


在 日 常 工作 中 , 我 会 从 当天 的 工作 安排 中 选择 一 个 任务 , 根据 其 内 容 分 配 一 段 时 间 , 然后 在 
该 时 间 盒 内 一 心 一 意 地 工作 。 对 于 小 型 测试 任务 ， 时 间 盒 一 般 是 15~30 分 钟 。 对 于 大 型 测试 任务 ， 
时 间 盒 一 般 是 60 分 钟 。 如 果 60 分 钟 不 能 完成 任务 ， 我 会 稍 作 休息 ， 然 后 分 配 一 个 30~60 分 钟 的 时 
间 盒 ， 以 继续 工作 。 我 曾经 连续 3 个 小 时 持续 编码 ,不 作 任 何 休息 (其 实 3 个 小 时 是 保守 估计 ， 因 
为 我 过 于 投入 ， 已 经 忘记 任务 何 时 开始 和 结束 )， 也 获得 了 很 好 的 工作 成 果 。 但 是 ， 我 觉得 长 时 
间 连 续 工 作 并 不 适用 于 大 多 数 测试 与 开发 任务 。 通 常 , 持续 工作 超过 60 分 钟 就 会 导致 注意 力 分 散 
和 效率 下 降 。 此 时 ， 应 该 离开 办 公 桌 ， 喝 一 点 水 ， 走 动 一 圈 ， 让 头脑 和 身体 都 得 到 放松 。 张 池 有 
度 才能 在 工作 时 集中 精力 。 


除了 拥有 专属 时 间 , 专注 工作 还 需要 避免 干扰 。 当 我 打算 专心 工作 时 , 我 会 关闭 邮件 客户 端 、 
即时 通信 软件 和 其 他 无 关 软 件 ， 以 避免 分 散 精 力 在 电子 邮件 、 即 时 消息 、 网 络 冲浪 上 。 有 些 工作 
信息 来 自 电 子 邮 件 ， 我 会 将 此 类 信息 都 复制 到 电子 笔记 本 中 。 在 工作 时 ， 我 只 参考 电子 笔记 本 ， 
并 始终 关闭 邮件 客户 端 , 这 样 就 不 会 被 新 邮件 所 打扰 。 基 本 思路 是 只 开启 必要 的 软件 , 构建 一 个 
“自给 自足 ”的 工作 空间 ， 以 抵御 其 他 活动 的 诱惑 。 


一 些 测试 人 员 觉 得 不 能 关闭 邮件 客户 端 和 即时 通信 软件 , 这 样 会 导致 他 们 不 能 立即 响应 紧急 
情况 。 对 于 某 些 项 目的 特定 角色 而 言 ， 确 实 如 此 , 立即 响应 特定 事件 是 他 们 的 职责 。 但 是 ， 对 于 
大 多 数 项 目 ， 测试 人 员 “ 离 线 ” 几 个 小 时 ， 并 不 会 导致 项 目 灾难 。 相 反 ,， 专注 工作 能 更 快 地 提供 
更 好 的 工作 成 果 ， 反 而 有 利于 项 目 快 速 推进 。 


另 一 个 提高 工作 效率 的 小 技巧 是 充分 利用 多 显示 器 。 编 程 和 测试 都 是 高 强度 的 知识 处 理 活 
动 ， 人 脑 需要 摄 入 、 人 处 理 、 产 出 大 量 的 信息 。 这 些 信息 源 自 和 流向 不 同 的 信息 仓库 ,它们 在 计算 
机 屏幕 上 体现 为 一 组 分 离 的 窗口 。 为 了 让 信息 传递 更 加 流畅 , 测试 人 员 应 该 降低 信息 流转 的 阻力 ， 
即 降低 窗口 切换 的 开销 。 

图 10-2 是 我 的 工作 环境 ， 由 3 台 显 示 咒 组 成 。 在 编程 时 ， 左 侧 的 显示 器 承载 了 编程 接口 的 帮 
助 文档 , 中间 的 显示 器 展示 了 代码 编辑 窗口 ， 右 侧 的 显示 器 则 提供 额外 的 代码 窗口 和 命令 行 。 在 
测试 时 , 左 侧 的 显示 需 呈 现 电 子 笔记 本 ， 以 展示 测试 想法 并 记录 测试 笔记 ; 中 间 的 显示 需 安 放 被 


= 


* 323. 


测 产品 的 窗口 ， 以 支持 测试 执行 ; AMEN ae AOA TTL, DP BUT mo 1k 
样 的 显示 器 安排 让 我 快速 访问 各 种 窗口 ， 令 信息 流转 更 加 流畅 。 


图 10-2 ”利用 多 显示 器 来 提高 工作 效率 


除了 测试 人 员 的 个 人 努力 ， 测 试 小 组 也 可 以 有 意识 地 创造 “安静 时 间 ”[Ford08]， 以 提高 团 
队 效 率 。 我 的 项 目 团 队 有 一 条 会 议 规 则 : 所 有 的 例 行 会 议 都 应 该 安排 在 周一 到 周 四 的 上 午 。 这 样 ， 
所 有 的 团队 成 员 (〈 项目 领导 、 产 品 经 理 、 程 序 员 、 测 试 人 员 ) 都 拥有 无 会 议 的 周一 至 周 四 的 下 午 
和 周 五 全 天 。 虽然 有 些 临时 性 的 会 议 难 免 被 安排 在 下 午 和 周 五 , 但 是 程序 员 和 测试 人 员 都 拥有 大 
块 时 间 可 以 自由 分 配 (产品 经 理 出 于 工作 需要 ， 会 组 织 和 参加 许多 会 议 )。 这 样 可 以 降低 任务 中 
断 的 概率 ， 帮助 团 队 成 员 更 自由 地 使 用 时 间 。 可 见 ， 追求 高 效 的 团队 应 该 主动 安排 团队 时 间 ， 让 
个 人 能 够 专注 地 工作 。 


10.1.4 ”恰到好处 的 文档 化 和 自动 化 
关于 节省 时 间 ， 我 有 两 点 经 验 。 


第 一 ， 犯 错 会 浪费 时 间 ， 认 真 把 事情 做 对 能 节省 时 间 。 有 时 ， 我 为 了 赶 上 进度 会 匆忙 工作 ， 
然而 仓促 的 过 程 往往 导致 一 些 错误 .为 了 修正 错误 , 我 不 得 不 花费 大 量 时 间 进 行 故障 诊断 和 返工 ， 
这 是 一 些 任务 超时 的 根本 原因 。 经 过 几 次 教训 , 我 渐渐 领悟 到 “和 欲 速 则 不 达 ” 的 道理 。 唯 有 高 质 
量 的 工作 才能 获得 稳定 的 速度 ,才能 在 进度 压力 下 完成 紧迫 的 任务 ,任何 以 降低 质量 为 代价 的 “ 捷 
径 ” 都 会 导致 失败 。 


第 二 , 参考 成 功 的 解决 方案 有 助 于 把 事情 做 对 , 从 而 节省 时 间 。 如 果 某 个 方法 经 过 实践 考验 ， 
能 够 有 效 解 决 某 个 问题 ,那么 复 用 或 模仿 它 很 可 能 再 次 成 功 。 然而， 人 的 记忆 力 是 不 可 靠 的 , 单 
凭 模糊 的 记忆 去 操作 很 可 能 导致 错误 , 进而 浪费 时 间 在 故障 调查 和 问题 修复 上 。 为 了 保存 一 些 重 
要 的 信息 ， 我 会 将 它们 写 入 个 人 的 电子 笔记 本 或 测试 小 组 的 知识 库 ( 其 载体 也 是 电子 笔记 本 )。 
通常 ， 我 用 个 人 笔记 本 保存 一 些 私人 的 想法 ， 将 分 享 给 整个 小 组 的 信息 写 和 人 知识 库 。 
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在 多 数 情 况 下 ,我 不 会 预先 编制 大 量 的 文档 ， 而 是 根据 当前 任务 做 必要 的 文案 。 即 便 是 记录 
一 些 通用 的 知识 ， 结 合 具 体 任务 来 陈述 能 获得 更 好 的 效果 。 以 下 是 一 些 常 见 的 文档 编写 时 机 。 


O 一 边 测试 ， 一 边 记 录 。 一般， 我 会 在 测试 之 前 列 出 一 批 初 始 的 测试 想法 ， 从 大 方向 上 思 
考 测试 类 型 和 测试 策略 。 在 实际 测试 中 ,测试 反馈 会 提供 丰富 的 信息 ， 能 激发 出 许多 测 
试想 法 ， 有 些 想 法 并 不 奏效 ， 有 些 想法 却 极 具 威 力 。 我 会 记录 那些 能 够 提高 测试 覆盖 、 
对 缺陷 有 较 强 检测 能 力 的 想法 ， 为 今后 的 测试 提供 支持 。 

O 在 发 现 错误 时 ， 记 录 正 确 的 做 法 。 这 里 的 错误 不 是 软件 缺陷 ， 而 是 我 所 犯 下 的 差错 。 软 
件 测试 是 非常 复杂 的 技术 调查 ， 我 常常 犯 下 错误 ， 导 致 缺陷 遗漏 、 进 度 延长 、 时 间 浪 费 。 
为 了 避免 我 自己 和 同事 再 犯 相似 的 错误 ， 我 会 记录 正确 的 做 法 或 需要 检查 的 要 点 ， 以 节 
省 未 来 的 工作 时 间 。 

O 当 解 除 疑惑 时 ， 记 录 管 案 。 在 工作 中 ， 我 经 常 遇 到 一 些 产 品 疑问 和 技术 难题 ， 有 时 我 会 
独立 调查 ， 有 时 我 会 寻求 同事 的 帮助 。 相 似 的 ， 同 事 们 也 会 向 我 咨询 一 些 我 了 解 的 问题 。 
在 获得 或 提供 答案 之 后 ， 我 会 考虑 该 答案 是 否 值得 记录 以 备 复 用 。 如 果 更 多 的 人 也 会 遇 
到 该 问题 ， 或 该 答案 提供 了 一 个 有 价值 的 解决 方案 ， 我 会 把 它 写 人 知识 库 ， 供 整个 小 组 
参考 。 

O 在 集体 测试 活动 之 前 ， 编 写 测试 指南 。 一 些 测试 活动 需要 测试 小 组 成 员 相 互 协作 才能 完 
成 ,为 此 活动 负责 人 应 该 提供 必要 的 测试 信息 ,分 享 给 小 组 。 以 缺陷 清扫 (参见 9.5.2 节 ) 
为 例 ， 测 试 负责 人 会 要 求 各 模块 负责 人 提交 简短 的 测试 说 明 ， 以 陈述 各 模块 有 哪些 潜在 
风险 、 用 户 情景 、 测 试 重点 和 已 知 问题 。 之 后 ， 他 将 汇总 后 的 结果 发 布 给 测试 小 组 ， 帮 
助 他 们 更 好 地 理解 测试 任务 。 


在 我 看 来 ,文档 工作 的 秘诀 是 “恰到好处 ”， 最 忌讳 “以 辞 害 意 "。 也 就 是 说 ， 应 该 用 简洁 的 
语言 、 恰 当 的 形式 记录 最 核心 的 内 容 ， 以 求 写 得 轻快 、 读 得 方便 。 反 之 ， 生 搬 硬 套 模 板 ， 育 目 追 
求 形式 ， 只 会 让 作者 和 读者 受挫 。 以 下 是 一 些 文档 编写 的 小 技巧 。 


O 用 操作 文档 (参见 3.2.10f ) 来 呈现 如 何 完成 一 个 复杂 的 任务 。 该 文档 由 一 系列 步骤 组 成 ， 
每 个 步骤 用 文字 描述 、 代 码 片段 、 数 据 文 件 、 屏 幕 截图 等 形式 讲述 特定 操作 。 其 核心 价 
值 在 于 舍弃 了 所 有 修饰 ， 针 对 特定 任务 直截了当 地 给 出 解决 方案 ,使 得 任何 人 都 “ 按 图 
RE WERTE. 

口 用 测试 想法 列表 ( 参见 3.2.8 节 ) 或 检查 列表 ( 参见 3.2.11 节 ) 来 记录 测试 策略 。 在 本 质 上 ， 
测试 策略 是 一 组 指导 测试 设计 的 想法 ， 因 此 列表 能 够 自然 地 呈现 测试 策略 的 多 样 性 和 可 
延伸 性 。 对 于 测试 人 员 而 言 ， 列 表 能 快速 传达 有 益 的 测试 提示 ， 又 不 会 约束 他 的 自由 发 
挥 。 而 且 ， 甚 简洁、 开放 的 形式 能 鼓励 他 用 很 小 的 代价 增加 更 多 的 测试 想法 。 经 过 几 轮 
测试 ， 列 表 会 多 方面 地 覆盖 被 测 领 域 ， 为 周密 测试 提供 有 益 参 考 。 

口 使 用 代码 片段 、 屏 幕 截图 、 视 频 录 像 、 超 级 链接 等 元 素 简 化 文档 编写 。 软 件 测试 是 一 项 
技术 性 很 强 的 工作 ， 涉 及 许多 细节 ， 有 些 内 容 很 难 用 文字 清晰 地 描述 。 对 此 ， 我 选择 直 
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ene 如 果 是 阐述 代码 设计 ， 我 会 考虑 提供 核心 代码 的 片段 ， 并 高 亮 出 关 

语句 。 如 果 是 讲解 操作 细节 ， 我 会 考虑 提供 屏幕 截图 ， 并 勾勒 出 重点 内 容 。 如 果 是 讲 
a 我 会 考虑 录制 一 个 10 分 钟 的 操作 录像 ， 以 讲解 常用 操作 。 如 果 所 讲 
述 的 概念 比较 复杂 , 我 会 给 出 参考 文献 的 超级 链接 , 让 读者 获得 更 多 资料 。 图 10-3 是 我 在 
2011 年 利用 业余 时 间 测 试 必 应 词典 桌面 版 的 笔记 ”。 它 既是 一 份 测试 日 志 ， 也 是 一 份 常用 
调试 工具 的 演示 教程 。 在 图 10-3 中 , 屏幕 截图 展示 了 技术 细节 , 图 片上 的 标记 勾勒 出 重点 ， 
超级 链接 指向 更 详细 的 信息 ， 文 字 旁 边 的 问号 点 出 重要 情况 ， 高 亮 文字 标识 出 我 想 强调 
的 内 容 。 可 见 ， 有 效 地 利用 富 媒体 的 表现 手段 ， 能 用 很 少 的 文字 传达 大 量 的 信息 ， 明 显 
提高 了 文档 编写 的 效率 。 


也 被 测试 进 间 程 的 基本 情况 


30,812 K 必 应 词典 
28,296 K 


i| 30,632 K 
。 RF: TEB DTEENE BA. 
。 操作 
打开 Process Explorer ,找到 BingDict.exe。 

。 观察 

o BingDict 一 个 32 位 程序 。 

© Process Explorer 用 黄色 显示 .NET 程 序 ， 因 此 BingDict 是 .NET 程 序 。 

o ”BingDict 有 子 进程 WordCapture。 从 名 字 上 看 ，WordCapture 负 责 屏幕 取 词 。 

20 为 什么 有 两 个 WordCapture ?是 Bug 吗 ? 


Name 


C:\Program Files (x86)\Microsoft Bing Dictionary\Skin\Simple\images \App 
(C:\Program Files (x86)\Microsoft Bing Dictionary\\Engkoo.Ehc.UI.Controls.dil 
C:\Program Files (86)\Microsoft Bing Dictionary\Engkoo.Ehc.Core.dil 
C:\Program Files &86)\Microsoft Bing Dictionary\Data \Eng.dat 

C:\Program Files (x86)\Microsoft Bing Dictionary\Data\Chs dat <---> 
C:\Program Files («86)\Microsoft Bing Dictionary 

BingDict.exe(9016): 8948 


。 探索 : 了 解 BingDict 加 载 的 模块 。 
。 操作 
o 在 Process Explore 中 ， 选 择 BingDict , 按 下 "Ctrl+H”, 查看 BingDict 的 句柄 信息 。 
。 观察 
o BingDict 打 开 了 安装 目录 下 的 : Engkoo.Ehc.ULControls.dll , Engkoo.Ehc.Core.dll ,从 各 字 看 它们 是 核 
Ù (core). 
o BingDict 打 开 了 Data 目 录 下 的 Eng.dat 和 Chs.dat , 从 名 字 看 它们 很 可 能 是 字 兢 的 数据 文件 。 


图 10-3 ”用 屏幕 截图 来 简化 编写 并 丰富 文档 


自动 化 代码 是 一 种 特殊 的 技术 文档 , 用 计算 机 可 理解 的 方式 表达 了 解决 方法 。 其 优势 不 仅 在 
于 自动 执行 能 够 节省 人 力 ， 还 在 于 代码 是 明确 、 具 体 、 无 歧义 的 描述 ， 能 够 精确 地 传递 知识 。 代 
码 编写 者 以 外 的 人 在 理解 这 些 知 识 之 后 ， 可 以 发 展 出 更 具 威 力 的 解决 方法 ,或 将 现 有 策略 快速 地 
移植 到 其 他 领域 。 


测试 人 员 没 有 时 间 把 所 有 任务 都 自动 化 ， 而 且 也 不 是 所 有 的 事情 都 适合 自动 化 。Thomas A. 


O 在 线 地 址 : https://skydrive.live.com/view.aspx/Public/exploratory^_testing?cid=da204d6ee69a08b2&id=documents。 
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Limoncelli 将 系统 管理 员 需 要 应 对 的 问题 分 成 4 类 ,并 给 出 了 相应 的 自动 化 见解 [Limoncelli05]。 我 
认为 他 的 观点 也 适用 于 产品 安装 、 补 丁 安装 、 测 试 环境 配置 、 测 试 环境 更 新 、 数 据 准备 、 产 品 操 
控 、 结 果 分 析 等 测试 任务 。 


口 只 做 一 次 的 简单 事情 。 此 类 任务 通常 无 需 自 动 化 ， 因 为 编写 并 调试 代码 会 花费 更 多 的 时 
间 。 不 过 ， 如 果 有 空闲 的 时 间 且 自动 化 开销 不 大 ， 我 还 是 会 编写 自动 化 代码 。 一 方面 ， 
这 是 一 种 刻意 的 练习 ， 让 我 复习 编程 接口 和 程序 语言 。 男 一 方面 ， 有 时 很 难 确保 该 任务 
“只 此 一 次 ”， 轻 便 的 自动 化 开销 不 大 ， 并 节省 了 未 来 的 时 间 。 以 我 的 经 验 ， 完 成 核心 步 
又 的 代码 拥有 较 高 的 复 用 率 。 

只 做 一 次 的 困难 事情 。 我 会 将 该 任务 分 解 为 一 些小 任务 ， 自 动 化 每 个 小 任务 ， 再 将 它们 
串联 起 来 ， 获 得 完整 的 自动 化 方案 。 有 时 ， 某 个 小 任务 不 适合 自动 化 ， 我 会 混合 手工 操 
作 和 自动 化 执行 来 完成 整个 任务 。 

常 做 的 简单 事情 。 此 类 任务 最 适合 自动 化 ， 而 且 自 动 化 的 投入 很 快 就 能 获得 回报 。6.3.2 
节 介 绍 了 相关 案例 ， 其 特征 都 是 编写 短小 的 代码 ， 以 快速 完成 软件 控制 、 环 境 配 置 、 数 
据 分 析 等 任务 。 有 些 手 工 执 行 只 需 十 几 秒 的 操作 序列 ， 只 要 是 机 械 的 、 重 复 的 就 值得 自 
动 化。 代码 清单 10-1 展 示 了 一 段 AutoHotKey 脚 本 ， 它 监听 到 快捷 键 Win+F2 后 ， 会 发 送 键 
盘 命 令 Ctrl+C ,将 当前 选中 的 文字 复制 到 剪贴 板 , 然后 在 两 个 搜索 引擎 上 查询 剪贴 板 内 容 。 
这 段 脚本 每 次 只 能 节省 几 秒 的 时 间 ， 但 是 它 让 我 摆脱 了 机 械 操作 ( 复制 文字 、 启 动 浏览 
器 、 输 入 网 址 、 粘 贴 文字 并 搜索 、 输 入 第 二 个 网 址 、 再 粘贴 文字 并 搜索 )， 将 精力 专注 在 
核心 任务 上 。 

常 做 的 困难 事情 。 此 类 任务 往往 具有 复杂 的 流程 ， 需 要 处 理 多 种 可 能 情况 。 对 此 ， 我 会 
与 测试 经 理 协商 ， 安 排 一 段 专用 时 间 来 完成 自动 化 。 解 决 方案 通常 是 基于 现 有 软件 系统 
做 二 次 开发 ， 使 之 可 以 处 理 新 的 流程 。 如 果 项 目 进度 不 允许 花费 大 量 时 间 用 于 自动 化 ， 
我 会 编写 操作 文档 或 检查 列表 ， 帮 助手 工 及 半自动 操作 顺利 完成 。 


口 


口 


口 


代码 清单 10-1 调用 多 个 搜索 引擎 的 AutoHotKey 代 码 


#F2:: ; 快捷 键 是 Win+F2 

Send ^c ; 发 送 Ctrl+C 

Run http://www.bing.com/search?q=%clipboard% ; 在 必 应 上 搜索 剪贴 板 内 容 
Run http://www. google.com/search?q=%clipboard% ; 在 谷歌 上 搜索 剪贴 板 内 容 
return ; 命令 结束 


a 


通常 ， 我 会 用 DOS Shell、PowerShell、IronPython、AutoHotKey 等 脚本 语言 来 完成 小 型 自动 
化 ， 用 C# 和 SQL 来 构建 较 复杂 的 自动 化 方案 。 我 的 感受 是 ， 自 动 化 代码 积累 得 越 多 ,测试 效率 就 
越 高 。 一 方面 ,持续 地 编写 代码 令 我 更 熟悉 程序 语言 和 编程 接口 ， 能 够 更 快 地 开发 新 代码 。 男 一 
方面 , 已 有 代码 是 很 好 的 知识 库 , 通过 代码 复 用 和 简单 改写 , 我 可 以 立即 解决 当前 环境 的 常见 问 
题 。 在 某 种 意义 上 ， 有 价值 的 代码 是 “ 活 的 ”代码 ， 它 会 被 复 用 ， 并 在 复 用 过 程 中 被 不 断 增强 ， 
从 而 发 展 出 灵活 的 结构 和 强大 的 能 
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10.2 ”持续 学 习 


软件 行业 总 在 高 速 发 展 中 , 测试 人 员 为 了 胜任 工作 和 推动 职业 发 展 ， 必 须 持 续 地 学 习 。 所 谓 


学 习 是 “求学 ”( 获取 知识 ) 和 “练习 ”( 应 用 知识 ) 的 组 合 ， 


是 吸纳 、 实 践 、 反 思 的 循环 过 程 。 


也 就 是 说 , 学习 并 非 单纯 地 摄取 知识 ,还 需要 积极 地 实践 ,通过 反馈 和 反思 来 巩固 学 习 成 果 。 基 


本 上 ,来 自 实践 的 知识 只 有 在 实践 之 后 才能 真正 掌握 。 


10.2.1 在 工作 中 学 习 


为 了 高 效 地 完成 测试 任务 , 测试 人 员 需 学 习 许 多 内 容 , 包括 领域 知识 、 用 户 情景 、 测 试 技术 、 


计算 平台 、 开 发 技术 、 软 件 项 目 、 项 目 团队 等 。 面 对 如 此 多 的 内 容 , 一 条 值得 参考 的 指导 原则 是 


确定 项 目 团队 或 所 在 领域 最 需要 的 技能 ， 然 后 努力 掌握 它们 区 aner01]。 对 于 此 类 知识 ， 通 过 实 
际 工作 来 掌握 是 一 种 比较 好 的 学 习 方法 。 这 样 做 可 以 加 速 获取 知识 与 应 用 知识 的 循环 , 并 让 学 习 
成 果 立 即 帮助 测试 过 程 。 成 功 的 应 用 能 够 增强 测试 人 员 的 信心 ， 鼓 舞 他 更 深入 地 研究 。 


实际 上 , 本 书 的 大 部 分 内 容 都 在 讨论 如 何 学 习 产 品 和 项 目 。 第 2 章 到 第 5 章 讨论 了 使 用 多 种 测 
试 方法 实施 技术 调查 ， 第 7 章 介 绍 了 产品 研究 ,第 8 章 探讨 了 项 目 研究 。 在 此 ,本 节 只 简单 地 介绍 


当 我 接手 一 个 功能 时 ， 会 做 哪些 初步 的 学 习 。 


口 首先 ， 我 会 实施 积极 阅读 〈7.3.2 节 )， 评 审 该 功能 的 移交 文档 〈3.2.14 节 )， 以 掌握 该 功能 
的 基本 情况 ， 包 括 需求 与 功能 、 质 量 标准 、 基 本 测试 想法 、 现 有 自动 化 测试 、 可 用 测试 
数据 、 已 知 缺陷 、 潜 在 风险 等 。 然 后 ， 我 与 原 测试 负责 人 讨论 这 些 内 容 ， 了 解 他 测试 该 


功能 的 经 验 与 技巧 ， 并 请 教 在 文档 阅读 过 程 中 产生 的 疑惑 。 


口 


除了 团队 内 部 文档 ,我 还 会 参考 外 部 资料 。 例 如 , 在 测试 Web 应 用 时 ,我 会 在 网 络 上 搜索 


Web 开 发 和 测试 的 资料 ， 了 解 基本 编程 技术 、 常 用 测试 策略 、 典 型 缺陷 和 可 用 工具 , 并 评 
估 在 当前 项 目 中 如 何 运 用 这 些 信息 。 又 例如 , 在 测试 Microsoft Office 产 品 时 ， 我 会 收集 一 
些 专著 和 网 络 文献 ， 阅 读 相关 内 容 。 经 过 多 年 的 使 用 和 研究 ， 很 多 熟练 用 户 已 经 成 长 为 
Office 专 家 ， 他 们 撰写 了 大 量 的 书籍 和 资料 。 阅 读 这 些 文献 可 以 了 解 用 户 最 常 使 用 、 专 家 
最 常 推荐 的 使 用 情景 ， 并 发 掘 出 许多 内 部 文档 没有 记录 的 细节 。 
口 更 重要 的 是 ， 我 会 通过 漫游 测试 (5.4.4 节 ) 和 快速 测试 ( 5.5 节 ) 来 实际 操作 软件 ， 建 立 或 
完善 该 功能 的 一 批 测试 模型 (4.2 节 )。 常 见 的 测试 结果 是 功能 列表 (3.2.4 节 )、 测 试想 法 列 
表 (3.2.8 节 )、 输入 与 输出 模型 ( 4.2.2 节 )、 系 统 生态 图 (4.2.3 节 ) 和 更 新 了 的 移交 文档 等 。 


随 着 测试 的 发 展 ,我 会 进一步 研究 产品 和 项 目 元 素 , 并 尝试 更 多 的 测试 方法 。 可见， 在 测试 
过 程 中 , 测试 人 员 不 但 能 学 到 许多 与 产品 相关 的 知识 , 还 可 以 循序 渐进 地 学 习 行业 知识 、 开 发 技 


术 、 测 斌 方法、 测试 模型 等 内 容 。 只 要 他 保持 学 习 的 积极 怕 
试 工作 就 能 帮助 他 持续 地 成 长 。 
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E， 勇 于 进入 新 领域 并 尝试 新 技术 ， 测 


10.2 ”持续 学 习 


$ 
Jk 


10.2.2 ”持续 阅读 


除了 在 工作 中 学 习 ， 测试 人 员 还 需要 超出 公司 业务 和 软件 测试 ， 拓 展 自己 的 职业 发 展 
[Kaner01]。 专业 的 测试 人 员 不 但 为 公司 工作 , 还 应 对 自己 负责 , 学 习 各 种 知识 来 提升 自身 的 能 力 。 
对 于 我 而 言 ， 这 意味 着 阅读 大 量 的 书籍 。 在 博客 上 ， 我 提供 了 一 份 阅读 清单 "， 列 出 了 40 多 本 我 
读 过 的 测试 书籍 。 实 际 上 ， 我 的 阅读 量 远 不 止 这 些 。 图 10-4 展 示 了 我 读 过 的 一 些 软 件 开 发 书籍 ， 
左上 角 是 我 曾经 的 办 公 室 藏书 ， 右 下 角 是 目前 的 家 庭 藏 书 。 书 籍 内 容 涉及 开发 技术 、 测 试 技术 、 
开发 方法 论 、 软 件 工具 、 行 业 故 事 等 ， 既 有 经 典 名 著 ， 又 有 时 效 性 较 强 的 工具 书 。 


os 


SS ES : 
图 10-4 “我 读 过 的 软件 开发 书籍 局 部 ) 


对 于 比较 重要 的 书 ,我 会 一 边 阅读 一 边 做 笔记 。 图 10-5 展 示 了 我 对 《完美 软件 一 一 对 软件 测 
试 的 各 种 幻想 》[Weinberg09] 做 的 笔记 ， 包 括 用 即时 贴 标 记 重点 页 面 ， 用 铬 笔 勾勒 重点 文字 、 进 
行 批注 和 绘制 草图 。 在 我 看 来 ,笔记 的 形式 和 内 容 并 不 重要 ,关键 是 做 笔记 可 以 让 我 读 得 更 慢 一 
些 , 并 随时 记录 阅读 感想 。 这 将 自己 的 知识 和 经 验 带 入 阅读 ， 让 我 与 书 的 作者 进行 虚拟 “对 话 ”， 
使 阅读 不 是 单纯 的 摄取 ， 还 伴随 着 反思 。 


对 于 一 些 工具 书 , 我 一 般 不 会 全 部 读 完 ， 只 是 放 在 案头 备查 。 例 如 ,虽然 我 经 常 参考 《SQL 
Server 2005 范 例 代码 查询 辞典 》”, 但 是 从 没有 完整 地 读 过 一 遍 。 如 果 我 发 现 某 些 内 容 在 工作 中 
被 反复 参考 ,我 会 阅读 它们 所 在 的 一 章 , 以 了 解 该 子 领 域 。 通常， 我 不 会 阅读 与 实际 任务 无 关 的 
章节 ,毕竟 在 时 间 有 限 的 情况 下 ， 应 该 将 精力 集中 在 有 帮助 的 内 容 上 。 无 重点 的 阅读 降低 了 学 习 
效率 ， 也 使 得 需要 认真 研究 的 内 容 没 有 获得 足够 的 资源 。 


O http:/www.cnblogs.com/liangshi/p/3274750.html。 
@ http://book.douban.com/subject/1762921/。 
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阅读 需要 大 量 的 时 间 ， 然而 忙碌 的 工作 常常 会 大 幅 压缩 空闲 时 间 。 对 此 ,我 采用 两 个 办 法 来 
坚持 阅读 。 第 一 ， 对 于 重要 的 书 ， 我 会 安排 一 个 固定 的 时 段 ， 每 天 读 一 个 小 时 。 一 个 小 时 并 不 是 
严格 的 约束 , 空闲 时 间 充 裕 就 多 读 一 会 儿 , 空闲 时 间 紧 张 就 少 读 一 会 儿 。 关 键 在 于 每 天 不 间断 地 
阅读 ， 经 过 一 段 时 间 的 积累 ， 自 然 能 够 获得 长 足 的 进展 。 第 二 ,我 会 利用 旅途 、 等 待 、 工 作 间 阶 
等 碎片 时 间 来 阅读 。 例 如 ,我 兽 经 坐 地 铁 上 班 ， 往 返 需要 一 个 多 小 时 。 于 是 ,我 将 这 一 个 小 时 视 
为 额外 的 阅读 时 间 ， 总 是 携带 一 本 书 在 地 铁 上 浏览 。 这 样 每 日 积累 ， 一 个 月 可 以 多 读 一 两 本 书 。 
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图 10-5 ”我 对 《完美 软件 一 一 对 软件 测试 的 各 种 幻想 》 所 做 的 笔记 


除了 书籍 ,我 还 会 经 常 阅 读 技术 博客 和 杂志 文章 ,我 的 切身 体会 是 大 量 阅 读 能 够 拓展 知识 面 ， 
并 逐渐 建立 自己 的 知识 体系 。 当 接触 到 一 本 新 书 或 新 文章 时 , 我 可 以 快速 地 评估 其 内 容 属于 知识 
体系 的 哪 一 部 分 ， 它 的 哪些 部 分 对 我 有 益 或 无 用 , 它 的 哪些 观点 与 我 一 致 或 相反 。 这 帮助 我 更 有 
效 地 阅读 文献 ， 并 运用 其 知识 。 


单纯 的 阅读 并 没有 完成 学 与 习 的 循环 , 还 需要 实践 才能 真正 掌握 知识 。 对 于 读 到 的 测试 方法 ， 
我 会 刻意 在 测试 工作 中 运用 , 通过 实践 来 评估 其 适用 范围 。 对 于 读 到 的 编程 技术 , 我 会 用 它 编写 
有 实际 用 途 的 程序 或 自动 化 测试 代码 。 并 不 是 所 有 方法 都 适合 我 的 项 目 语 境 和 个 人 情况 。 但 是 在 
束之高阁 之 前 ,应 该 花 一 些 时 间 来 实践 它们 。 这 可 以 扩展 眼界 ,体会 多 种 流派 、 思 想 和 技术 ,还 
可 以 让 一 些 看 似 不 合 常理 却 有 效 的 方法 脱颖而出 。 


10.3 且 行 且 思 


经 历 和 经 验 是 两 个 紧密 相关 又 相互 区 别 的 概念 : 经 历 是 一 段 工作 的 过 程 ， 而 经 验 是 从 该 过 程 
中 学 习 到 的 理论 和 方法 。 从 个 人 努力 的 角度 ,经 历 只 与 工作 时 间 和 工作 内 容 有 关 ， 它 会 随 着 工作 
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年 限 而 自然 增长 ,但 是 经 验 则 需要 主动 地 积累 和 反思 。 也 就 是 说 , “两 年 的 工作 经 历 ” 并 不 会 自 
动 转化 成 “两 年 的 工作 经 验 ”， 测 试 人 员 能 力 的 成 长 取决 于 他 如 何 对 待 和 反思 其 实践 。 而 且 ， 如 
果 他 不 能 及 时 发 现 工作 中 的 坏 习 惯 , 更 长 的 工作 时 间 只 会 强化 不 良 实践 ， 经 历 愈 长 愈 有 害 。 


关于 经 验 积累 与 分 享 ， 软件 开发 者 Dave Hoover 和 Adewale Oshineye 在 其 著作 《软件 开发 者 路 
RE: 从 学 徒 到 高 手 》( 4pprenticeship Patterns: Guidance for the Aspiring Software Craftsman ) 中 提 
出 了 一 些 很 好 的 方法 [Hoover09]。 其 中 , 且 行 且 思 、 记 录 所 学 和 分 享 所 学 也 是 我 一 直 坚 持 的 实践 。 


“日 行 且 思 ”这 个 言 简 意 凡 又 意味 深长 的 表述 来 自 王 江平 先生 传神 的 翻译 。 一 方面 ， 它 瞳 示 
软件 人 员 的 职业 生涯 是 “漫漫 长 路 ”"， 需 要 坚持 不 懈 地 跋涉 ; 另 一 方面 ， 它 指出 持续 的 努力 应 该 
伴随 持续 的 思考 ， 执 行 与 反思 缺 一 不 可 。 具 体 而 言 ， 专 业 人 员 需 要 建立 对 自己 工作 的 反馈 回路 ， 
通过 定期 审视 其 工作 ， 识 别 出 成 功 的 实践 和 失败 的 实践 ， 并 制定 相应 的 改进 方案 。 


在 工作 中 ,我 将 “ 且 行 且 思 ”和 “记录 所 学 ”结合 在 一 起 。 所 谓 “ 记 录 所 学 ”就 是 持续 地 记 
录 自 己 学 习 到 的 知识 和 感悟 到 的 想法 。 和 许多 开发 者 一 样 , 我 同时 使 用 两 种 记录 和 载体, 一 个 是 私 
人 工作 日 志 ， 用 于 保存 个 人 的 想法 , 一 个 是 团队 知识 库 ， 用 于 分 享 对 团队 有 价值 的 知识 。 这 意味 
着 我 可 以 利用 两 种 反馈 回路 , 个 人 记录 帮助 我 诚实 面 对 自 己 的 进步 与 错误 , 公开 记录 则 将 经 验 传 
递 给 团队 并 接受 更 广泛 的 反馈 。 


图 10-6 展 示 了 我 的 私人 工作 日 志 。 这 是 一 个 A4 幅 面 的 记事 本 , 用 黑色 的 签字 笔 书 写 并 绘制 内 
容 。 它 没有 严格 的 格式 ， 大 致 以 列表 的 形式 罗列 了 想法 。 


图 10-6 私人 工作 日 志 
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a 第 10 章 个 人 管理 


通常 ,我 会 在 周末 回顾 一 周 的 工作 ( 且 行 且 思 ), 并 将 工作 经 历 和 个 人 感悟 写 入 工作 日 志 ( 记 
录 所 学 )。 在 撰写 时 ， 我 通常 会 从 以 下 方向 开始 思考 。 


我 测试 了 哪些 功能 ? 使 用 了 什么 测试 策略 ?为 什么 使 用 这 些 策略 ?哪些 策略 发 挥 了 比较 
好 的 效果 ， 应 该 坚持 使 用 ? 哪些 策略 效果 不 佳 ， 需 要 改进 ? 

O 我 开发 了 哪些 代码 ? 进行 了 哪些 设计 决策 ?这些 决策 的 依据 是 什么 ? 哪些 决策 发 挥 了 比 
较 好 的 效果 ? 哪些 决策 效果 不 佳 ? 这 对 今后 的 开发 工作 有 哪些 启示 ? 

O 我 参与 了 哪些 协作 性 活动 ? 我 的 哪些 行为 推动 了 协作 ? 有 没有 更 好 的 协作 方法 ? 我 的 哪 
些 行为 不 利于 协作 ? 我 应 该 如 何 改进 ? 

O 我 做 对 了 什么 ”该 做 法 为 什么 有 效 ” 它 坚持 了 什么 价值 观 ， 应 用 了 何 种 实践 方法 ? 未 来 
应 该 如 何 坚持 ? 

O 我 做 错 了 什么 ? 错误 的 根源 是 什么 ? 我 应 该 如 何 改进 ? 

O 我 观察 到 什么 有 趣 的 事情 或 现象 ? 这 对 我 有 什么 启发? 

O 我 有 哪些 有 趣 的 想法 ? 


我 对 日 志 内 容 没 有 严格 的 限定 ， 只 是 宽泛 地 记录 本 周 的 所 行 所 想 。 因 为 仅 供 自己 参考 ,所 以 
我 从 不 担心 文字 表达 是 否 条 理 清 晰 , 尽管 以 自己 能 够 理解 的 方式 不 断 地 书写 下 去 。 即 便 某 些 页 面 
因为 修改 文字 和 补充 想法 显得 有 些 凌 乱 , 我 也 不 会 在 意 。 有 时 ,这些 改动 和 补充 恰恰 忠实 记录 了 
某 个 想法 的 演变 过 程 。 


软件 大 师 Jerry Weinbeg 是 个 人 日 志 的 长 期 实践 者 ， 他 道 出 了 日 志 的 一 个 重要 优点 :“ 不 像 书 
籍 或 课程 , 日 志 所 记录 的 一 切 都 与 你 有 关 。 因 为 个 人 学 习 都 是 私人 的 , 我 不 能 保证 你 能 学 到 什么 ， 
但 是 我 可 以 保证 你 一 定 会 学 到 一 些 有 价值 的 东西 。” [Bolton07] 我 的 切身 感受 也 是 如 此 ,日 志 记 录 
了 我 的 所 学 所 想 ， 提 供 了 稳定 且 持续 的 自我 反馈 。 除 了 每 周 反 思 和 记录 , 我 会 定期 读 一 读 以 前 写 
的 日 志 , 用 新 的 眼光 来 审视 过 去 的 想法 和 决策 , 用 已 有 的 案例 和 经 验 来 考察 现在 的 情况 。 该 积极 
的 复读 过 程 可 以 梳理 我 的 工作 经 历 , 并 将 分 离 的 想法 有 机 地 联系 在 一 起 , 构成 自己 的 价值 观 和 知 
识 体 系 。 在 撰写 本 书 的 过 程 中 ， 我 也 多 次 参考 现 有 的 工作 日 志 ( 共 5 本 )， 不 但 获得 了 很 多 资料 ， 
也 再 次 反思 了 自己 的 工作 方法 。 


通过 “ 且 行 且 思 ”和 “记录 所 学 ”可 以 积累 许多 经 验 ， 这 时 应 该 “分 享 所 学 "。 在 日 常 工作 
中 ,我 会 将 知识 和 经 验 分 享 到 团队 知识 库 , 或 通过 邮件 、 报 告 等 形式 广播 给 整个 小 组 。 此 外 ,我 
还 会 选择 一 些 有 价值 且 不 涉及 机 密 的 内 容 ， 撰 写成 文章 ， 发 布 在 我 的 博客 上 ”。 


在 我 看 来 ,撰写 博客 是 很 好 的 个 人 实践 。 首先, 它 是 一 种 学 习 方法 ,推动 我 更 周详 地 分 析 要 
发 表 的 内 容 , 从 而 获得 只 有 深入 思考 才能 得 到 的 洞察 力 和 系统 性 。 当 我 自 认 为 已 经 了 解 一 个 主题 
I, 有 条 理 地 阔 述 它 会 暴露 出 我 原 有 认识 的 不 足 。 为 了 更 好 地 论述 ,我 会 做 必要 的 研究 ， 包 括 阅 
读 文 献 和 动手 实验 。 从 这 个 角度 看 , 撰写 过 程 本 质 是 研究 过 程 , 博客 文章 是 研究 过 程 的 自然 结果 。 


Qa 我 的 博客 网 址 : http://cnblogs.com/liangshi/。 


#3324 


10.4 成 为 专家 


第 二 , 技术 写作 是 一 个 专业 人 员 应 该 具备 的 素质 ， 它 对 书面 交流 和 技术 传播 非常 重要 。 提 高 写作 
能 力 的 核心 方法 就 是 多 写 ,撰写 博客 为 此 提供 了 很 好 的 练习 机 会 。 第 三 ,发 表 博 客 文章 可 以 从 更 
广大 的 社区 中 获得 反馈 ,并 “以 文 会 友 ” 去 认识 一 些 志同道合 的 朋友 。 例 如 ,我 和 高 翔 通过 彼此 
的 博客 发 现 双方 都 对 探索 式 测试 有 浓厚 的 兴趣 ， 于 是 经 常 交 换 意见 和 分 享 经 验 ， 自 然 成 为 好 友 。 
后 来 ,我 们 一 起 合作 撰写 了 《探索 式 测 试 实践 之 路 》 "一 书 ， 将 所 学 所 知 分 享 给 整个 中 文 测试 社 
区 。 第 四 , 博客 按时 间 顺 序 记 录 了 作者 的 工作 历程 。 经 过 一 段 时 间 的 积累 ， 它 不 但 成 为 作者 的 个 
人 知识 库 ， 还 是 他 的 个 人 “名 片 ”， 能 够 有 说 服 力 地 展示 其 技术 能 力 和 思考 水 平 ， 帮 助 他 获得 社 
区 的 认可 。 


在 本 质 上 , 且 行 且 思 、 记 录 所 学 和 分 享 所 学 的 核心 是 持续 的 反思 和 积累 。 这 要 求 测试 人 员 建 
立 反 馈 回路 , 通过 各 种 途径 来 评估 自己 的 行为 和 方法 , 并 记录 下 经 验 教训 和 改进 方案 。 其 功效 并 
非 一 朝 一 夕 就 可 显现 ,但 是 集 腋 成 则 的 积累 会 获得 丰硕 的 成 果 。 


10.4 成 为 专家 


在 测试 职业 发 展 上 , 测试 人 员 有 两 条 路 线 : 成 为 技术 专家 或 团队 领导 。 在 更 大 的 范围 上 , 他 
可 以 选择 新 的 研发 角色 ， 如 程序 员 或 产品 经 理 ， 其 至 离开 软件 行业 ,投身 新 的 领域 。 不 管 选择 哪 
条 道路 ， 他 都 应 该 主动 设 定 目标 ， 并 积极 进取 。 本 闻 将 简单 讨论 测试 技术 专家 这 条 职业 路 线 。 


首先 , 测试 人 员 应 该 成 为 一 名 通才 。 软件 本 身 的 复杂 性 及 其 应 用 的 广泛 性 要 求 测试 人 员 从 多 
个 关系 人 的 角度 , 综合 运用 多 种 方法 实施 技术 调查 。 这 意味 着 测试 人 员 需 要 超出 当前 任务 范围 去 
掌握 大 量 的 测试 方法 。 唯 上 有 如 此 ， 当 他 切入 新 领域 或 接 到 新 任务 时 , 才能 根据 语 境 开发 出 有 针对 
性 的 、 注 重 实效 的 测试 策略 。 


恰 如 测 试 专家 所 说 ,“ 不 要 幻想 只 要 两 个 星期 就 可 以 成 为 柔道 黑 带 ”[Kaner01]， 成 为 通才 需 
要 艰苦 的 努力 和 漫长 的 积累 。 " 书 山 有 路 勤 为 径 ， 学 海 无 涯 苦 作 舟 ” 一 一 坚持 不 懈 是 职业 发 展 中 
一 个 重要 的 (也 可 能 是 最 重要 的 ) 策略 。 此 外 ,一 个 有 帮助 的 方法 是 先 了 解 一 些 框架 性 方法 ， 以 
大 致 掌握 测试 领域 的 脉络 。 例 如 ， 六 要 素 测试 分 类 系统 ( 参见 5.1 节 ) 是 测试 方法 的 分 类 框架 ， 
启发 式 测试 策略 模型 ( 参见 4.2.1 节 ) 是 测试 设计 的 参考 框架 ,启发 式 测试 计划 的 语 境 模型 ( 参见 
3.2.1 节 ) 是 测试 计划 的 参考 框架 ， 基 于 测 程 的 测试 管理 ( 参见 3.2.13 节 ) 是 测试 执行 的 框架 。 在 
建立 了 理论 框架 之 后 , 测试 人 员 可 以 在 工作 与 学 习 中 不 停 地 累积 具体 的 技术 ,并 将 “血肉 ”添加 
到 “骨架 ”之 中 。 久 而 久之 ， 其 知识 体系 自然 能 够 “ 枝 繁 叶 太 ”。 

一 名 测试 新 人 需要 避免 的 思维 误区 是 用 某 个 职务 头衔 限制 自身 能 力 的 发 展 。 例如 , 我 在 测试 
论坛 中 发 现 一 些 测 试 人 员 常 讨论 “日 全 测试 工程 师 ”、“ 黑 盒 测试 工程 师 ” 和 “性 能 测试 工程 师 ” 
等 职位 。 一 部 分 人 认为 它们 是 相互 排斥 的 ， 即 做 白 盒 工 程 师 就 不 用 考虑 用 户 情 景 ， 做 黑 盒 工程 师 


® 该 书 主页 : http://cnblogs.com/etbook/。 
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就 不 用 考虑 代码 实现 ,做 性 能 工程 师 就 只 要 钻研 性 能 测试 工具 。 其 实 , 这 些 名 词 只 是 某 些 公司 所 
设 定 的 职位 而 已 ， 只 代表 他 们 对 工程 师 的 要 求 , 并 不 体现 软件 行业 对 高 水 平 测试 人 员 的 期 望 。 实 
际 上 , 国内 外 的 高 水 平 科技 企业 都 要 求 工程 师 能 够 独当一面 , 能 够 独立 完成 一 个 子 领域 的 大 部 分 
任务 。 对 于 测试 人 员 而 言 ， 他 需要 能 够 独立 完成 一 个 子 系统 的 测试 ， 无 论 测试 活动 是 日 盒 测 试 、 
黑 盒 测 试 还 是 性 能 测试 , 只 要 工作 需要 , 他 就 应 该 有 能 力 完成 。 因此 , 为 了 长 远 地 发 展 职业 生涯 ， 
测试 人 员 不 应 该 被 头衔 所 约束 ， 而 是 要 积极 地 拓展 自己 的 技术 广度 。 


在 广泛 涉猎 的 基础 上 , 测试 人 员 需 要 选 定 一 个 领域 , 成 为 该 领域 的 专家 。 这 意味 着 要 了 解 该 
领域 的 概念 、 理 论 、 技 术 和 细节 ， 能够 提出 高 层 的 设计 方案 ,也 能 解决 困难 的 具体 问题 。 当 团队 
成 员 遇 到 困难 时 会 主动 向 他 咨询 , 他 能 够 快速 地 给 出 答案 。 如 果 遇 到 某 个 非常 困难 的 问题 , 不 能 
立即 回答 , 他 经 过 一 段 时 间 的 研究 , 能 够 清晰 地 解释 问题 的 根源 , 并 提供 相应 的 缓解 方案 。 有 时 ， 
他 会 给 出 若干 方案 ,并 分 析 每 种 方案 的 优 缺 点 ， 然 后 自然 导出 目前 的 最 佳 方案 。 可 见 ， 专 家 是 该 
领域 的 咨询 师 ， 其 声望 与 职务 头衔 无 关 ， 而 是 来 自 于 帮助 团队 解决 实际 问题 的 能 


在 工作 中 , 我 接触 过 一 些 专家 。 虽然 他 们 有 不 同 的 工作 风格 , 但 是 仍 表 现 出 一 些 共 性 的 特征 ， 
为 测试 人 员 的 发 展 提供 了 参考 范例 。 


口 专家 透彻 地 了 解 他 的 领域 。 在 软件 测试 中 ， 有 一 些 领 域 需要 较 强 的 能 力 和 长 期 的 积累 ， 
如 行业 知识 、 情 景 测试 、 安 全 测试 、 国 际 化 测试 、 性 能 测试 、 测 试 开发 、 调 试 诊 断 等 。 
专家 会 在 特定 的 一 个 或 几 个 领域 中 长 期 投入 ， 积 累 丰 富 的 技术 和 经 验 。 面 对 具体 问题 时 ， 
他 们 能 够 提供 合理 的 解决 方案 ， 或 给 出 实用 的 建议 。 

O 专家 会 持续 拓展 其 专业 领域 。 在 高 速 发 展 的 软件 行业 中 ， 他 们 会 根据 项 目 和 职业 发 展 的 
需要 切入 新 领域 ,并 成 为 新 领域 的 专家 。 过 去 的 经 验 和 成 功 并 不 会 将 他 们 束缚 在 原 有 的 
领域 中 ， 相 反 它 们 为 持续 探索 提供 了 动力 和 基础 。 

口 专家 会 主动 承担 领导 责任 。 技 术 专家 一 般 不 承担 领导 职务 ， 但 他 们 从 来 都 是 团队 的 技术 
领导 。 其 领导 力 不 是 来 自 于 任命 ， 而 是 来 自 于 强烈 的 责任 心 、 渊 博 的 知识 、 丰 富 的 经 验 
和 出 色 的 工作 ， 因 此 它 拥 有 牢固 的 基础 和 天 然 的 说 服 力 。 在 测试 小 组 中 ， 专 家 会 组 织 具 
体 活动 ， 编 写 相 应 的 测试 指南 ， 回 答 测试 人 员 的 问题 ， 并 给 出 专业 的 建议 。 例 如 ， 安 全 
测试 专家 会 编写 安全 测试 指南 ， 并 在 团队 知识 库 中 记录 安全 测试 相关 的 技能 和 工具 。 在 
项 目 中 ,他 评审 所 有 系统 和 组 件 的 测试 设计 ， 从 安全 测试 的 角度 给 出 有 价值 的 建议 。 此 
外 ， 他 会 定期 组 织 针对 安全 缺陷 的 集体 测试 活动 ， 如 结对 测试 、 组 队 测试 、 头 脑 风 暴 会 
MW (参见 7.3.3 节 ) 等 。 在 此 过 程 中 ,他 与 小 组 成 员 一 起 测试 ， 现 场 演示 方法 和 工具 ， 讲 
解 其 原理 和 技巧 ， 帮 助 他 人 更 好 地 实施 安全 测试 。 

O 专家 会 主动 将 自己 的 工作 和 知识 分 享 给 团队 。 专 家 拥有 良好 的 书面 表达 和 口语 表达 能 
能 通过 团队 知识 库 、 技 术 报 告 、 电 子 邮 件 、 专 题 讲 座 、 口 头 交流 等 形式 传递 知识 。 此 外 ， 
他 会 主动 选择 并 开始 一 个 技术 项 目 ， 在 取得 切实 进展 后 ， 将 阶段 性 成 果 报 告 给 测试 小 组 。 
这 些 成 果 能 够 帮助 测试 人 员 更 好 地 工作 ， 也 鼓励 他 们 加 入 进来 ， 推 劲 项 目的 持续 发 展 。 
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不 难看 出 ， 以 上 实践 并 没有 超越 任务 管理 、 持 续 学 习 、 知 行 合 一 、 且 行 且 思 、 记 录 所 学 、 分 
享 所 学 的 范畴 ,只 是 专家 的 努力 付出 获得 了 令 人 赞叹 的 成 绩 。 这 表明 测试 人 员 遵 循 相同 的 原则 和 
方向 , 通过 研究 、 实 践 和 反思 ， 也 可 以 成 长 为 专家 。 这 是 一 条 漫漫 长 路 , 但 是 耐心 和 坚持 能 帮助 
测试 人 员 稳 步 向 上 。 


10.5 小结 
本 章 讨 论 了 如 何 有 效 利 用 时 间 来 促进 职业 发 展 ， 介 绍 了 一 些 常见 的 实践 方法 。 


口 时 间 管 理 的 本 质 是 任务 管理 ， 即 为 一 组 任务 制订 合理 的 计划 ， 然 后 有 效 地 执行 ， 并 动态 
地 调整 计划 。 

口 应 该 把 所 有 任务 信息 集中 在 一 个 地 方 ， 以 便 随时 参考 和 修改 。 

口 周 计 划 和 每 日 回顾 有 助 于 实施 动态 计划 ， 以 适应 复杂 且 变 化 的 项 目 情况 。 

口 高 效 工 作 的 第 一 步 是 保持 专注 。 

口 测试 人 员 应 该 主动 创造 专注 的 工作 环境 ,“ 单 任务 ”的 时 间 盒 是 常见 方法 。 

口 错误 会 浪费 大 量 的 时 间 ， 认 真 把 事情 做 对 能 节省 时 间 。 

口 恰到好处 的 文档 化 和 自动 化 能 够 用 较 小 的 代价 呈现 切实 可 行 的 解决 方案 ， 有 助 于 避免 错 
误 ， 市 省 时 间 。 

口 学 习 的 本 质 是 “知行 合 一 "， 是 吸纳 、 实 践 、 反 思 的 循环 过 程 。 
口 通过 工作 来 学 习 项 目 或 领域 最 需要 的 技能 ， 有 事半功倍 之 效 。 

口 测试 人 员 需 要 超出 公司 业务 和 软件 测试 ， 来 扩大 自己 的 知识 储备 。 对 此 ， 坚 持 阅 读 是 一 
个 基本 方法 。 
口 为 了 从 实践 中 获得 更 多 ,测试 人 员 要 上 且 行 且 思 、 记 录 所 学 、 分 享 所 学 。 
口 测试 人 员 应 该 同时 拓展 其 技术 能 力 的 广度 和 深度 ， 成 为 通才 和 专家 。 
口 坚持 不 懈 是 职业 发 展 的 基础 性 策略 。 
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